二次型

Quadratic Form

在线性代数和优化理论中非常重要

含有 $n$ 个变量 $x_1,x_2,\cdots ,x_n$ 的二次齐次函数称为二次型，若二次型只含有平方项，则称为标准二次型

f({x}_{1} , {x}_{2} , \cdots , {x}_{n}) & =a_{11}x_{1}^{2}+\cdots+a_{nn}x_{n}^{2} +2a_{12}x_{1}x_{2}+\cdots+2a_{n-1,n} x_{n-1}x_{n} \\ \end{align}$$ 将 $a_{ji}=a_{ij}$ 即写为 $2a_{ij}x_{i}x_{j}=a_{ij}x_{i}x_{j}+a_{ji}x_{j}x_{i}$，并写为矩阵的形式： $$\begin{align} f&=a_{11}x_{1}^{2}+\cdots+a_{nn}x_{n}^{2} +a_{12}x_{1}x_{2}+a_{21}x_{2}x_{1}+\cdots+a_{n-1,n}x_{n-1}x_{n}+a_{n,n-1}x_{n}x_{n-1} \\ &=x_{1}(a_{11}x_{1}+a_{12}x_{2}+\cdots+a_{1n}x_{n})+\cdots+ x_{n}(a_{n1}x_{1}+a_{n 2}x_{2}+\cdots+a_{nn}x_{n}) \\ &=({x}_{1} , {x}_{2} , \cdots , {x}_{n})\begin{pmatrix} a_{11} & a_{12 } & \cdots & a_{1n} \\ a_{21} & a_{22 } & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n 1} & a_{n2} & \cdots & a_{nn} \end{pmatrix} \begin{pmatrix} x_{1} \\x_{2} \\\vdots \\x_{n} \end{pmatrix} \\ &=\mathbf{x}^{T}A\mathbf{x} \end{align}$$ $A$ 为[[对称矩阵\|对称矩阵]]，称为二次型的矩阵 - 给定一个二次型就能唯一确定一个对称矩阵 - 给定一个对称矩阵就能唯一确定一个二次型 ### 化为标准型 寻找可逆的[[线性变换\|线性变换]] $\mathbf{x}=C\mathbf{y}$ 使得原二次型变为标准型 $$\begin{cases} x_{1}={c}_{{1}1}y_{1}+{c}_{{1}2}y_{2}+\cdots+{c}_{{1}n}y_{n} \\ x_{2}={c}_{{2}1}{y}_{1}+{c}_{{2}2}{y}_{2}+\cdots+{c}_{{2}n}{y}_{n} \\ \cdots \cdots\\ x_{n}={c}_{{n}1}{y}_{1}+{c}_{{n}2}{y}_{2}+\cdots+{c}_{{n}n}{y}_{n} \end{cases}$$ $$\begin{align} f&=\mathbf{x}^{T}A\mathbf{x}=(C\mathbf{y})^{T}AC\mathbf{y} =\mathbf{y}^{T}(C^{T}AC)\mathbf{y} \\ \\ &={k}_{1}{y}_{1}^{2}+{k}_{2}{y}_{2}^{2}+\cdots+{k}_{n}{y}_{n}^{2} \\ \\ &=({y}_{1} + {y}_{2} + \cdots + {y}_{n}) \begin{pmatrix} k_{1} & & & \\ & k_{2} & & \\ & & \ddots & \\ & & & k_{n} \end{pmatrix}\begin{pmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{pmatrix} \end{align}$$ 实际上就是[[矩阵对角化\|矩阵对角化]] ### 能量与标准形 对实对称矩阵 $S$，二次型

x

可以理解为由 $S$ 定义的能量。正定矩阵要求所有非零 $x$ 的能量为正；正半定矩阵则允许某些非零方向能量为零。 借助正交谱分解 $S=Q\Lambda Q^T$，令 $x=Qy$，可得标准形

x^TSx=y^T\Lambda y =\lambda_1y_1^2+\cdots+\lambda_ny_n

因此二次型分类最终落到特征值符号：全正为正定，非负为正半定，既有正又有负为不定。 ### 正定二次型的椭圆 若 $S$ 是实对称正定矩阵，则方程

x

在二维中给出以原点为中心的椭圆，在 $n$ 维中给出椭球。由谱分解

S=Q\Lambda Q

并令 $X=Q^Tx$，可化为主轴坐标下的标准形

X^T\Lambda X=\lambda_1X_1^2+\cdots+\lambda_nX_n

椭圆的轴方向由 $S$ 的特征向量给出，半轴长为 $1/\sqrt{\lambda_i}$；特征值越大，对应半轴越短。 例如

5x^2+8xy+5y

$$对应$$

S=\begin{pmatrix}5&4\4&5\end{pmatrix}.

$$它的单位特征向量方向为$$

\frac1{\sqrt2}(1,1)^T,\qquad \frac1{\sqrt2}(1,-1)

特征值分别为 $9$ 和 $1$。令

X=\frac{x+y}{\sqrt2},\qquad Y=\frac{x-y}{\sqrt2},

$$则$$

5x^2+8xy+5y^2 =9X^2+Y

$$所以椭圆化为$$

9X^2+Y

### Hessian 与极小值判别 二次型也是多元函数二阶近似的核心。若函数 $F$ 在某点一阶导数为零，则该点附近的主要变化由 Hessian 矩阵决定：

H= \begin{pmatrix} F_{xx}&F_{xy}\ F_{yx}&F_{yy} \end{pmatrix}.

当 $H$ 正定时，二次主部 $h^THh$ 在所有非零方向上为正，图像在该点附近像向上的碗，因此该临界点是局部极小点；当 $H$ 不定时，不同方向上二次型符号相反，对应鞍点。三变量时 Hessian 扩展为

H= \begin{pmatrix} F_{xx}&F_{xy}&F_{xz}\ F_{yx}&F_{yy}&F_{yz}\ F_{zx}&F_{zy}&F_{zz} \end{pmatrix}.