【最优化方法】矩阵的二次型

矩阵二次型的定义

矩阵的二次型是一个与矩阵和向量相关的二次多项式。对于一个实数域上的二次型，给定一个 $n\times n$ 的对称矩阵 $A$ 和一个列向量 $x$（ $x$ 是一个 $n\times 1$ 的列向量），其二次型定义为：
$$Q(x)=x^{T}Ax$$

这个二次型表示可以更详细地展开为：
$$Q(x)=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{y}_j$$
其中 $a_{ij}$ 是矩阵 $A$ 的元素，表示第 $i$ 行第 $j$ 列的元素。

矩阵 $A$ 和列向量 $x$ 的具体形式为
A = [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a m 1 a m 2 ⋯ a m n ]       x = [ x 1 x 2 ⋯ x 3 ] T A =

$$\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots & \cdots & \cdots &\cdots \\ a_{m1} & a_{m2} & \cdots & a_{mn}\\ \end{bmatrix}$$ ~~~~~ x = $$\begin{bmatrix}x_1 & x_2 & \cdots & x_3\end{bmatrix}$$ ^T A= ​a11​a21​⋯am1​​a12​a22​⋯am2​​⋯⋯⋯⋯​a1n​a2n​⋯amn​​ ​     x=[x1​​x2​​⋯​x3​​]T
那么二次型可以写为
$$Q(\mathbf{x})=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
这个形式表达了二次型的一般形状。实对称矩阵的对称性保证了二次型中的交叉项系数相等，即 $a_{ij}=a_{ji}$，从而确保了 $Q(x)$ 的对称性。

矩阵的二次型在线性代数、优化、统计学等领域中有着广泛的应用，特别是在描述二次关系、凸优化等方面。

正定性、负定性、半定性和不定性

设实对称矩阵
A = [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a m 1 a m 2 ⋯ a m n ] A =

$$\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots & \cdots & \cdots &\cdots \\ a_{m1} & a_{m2} & \cdots & a_{mn}\\ \end{bmatrix}$$ A= ​a11​a21​⋯am1​​a12​a22​⋯am2​​⋯⋯⋯⋯​a1n​a2n​⋯amn​​ ​
其各阶顺序主子式为 $A_i$，则

一阶顺序主子式：
$$A_1=a_{11}$$
二阶顺序主子式：
A 2 = [ a 11 a 12 a 21 a 22 ] A_2 =

$$\begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \\ \end{bmatrix}$$ A2​=[a11​a21​​a12​a22​​]
三阶顺序主子式：
$$A_3=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]$$
其余各阶顺序主子式依次类推。下表给出各矩阵的定义以及充分必要条件

示例

给定一个实对称矩阵
A = [ 0 1 1 − 1 1 0 − 1 1 1 − 1 0 1 − 1 1 1 0 ] A =

$$\begin{bmatrix} 0 & 1 & 1 & -1 \\ 1 & 0 & -1 & 1 \\ 1 & -1 & 0 & 1 \\ -1 & 1 & 1 & 0 \\ \end{bmatrix}$$ A= ​011−1​10−11​1−101​−1110​ ​

判断该式子是哪种类型？（正定二次型、负定二次型、半正定二次型、半负定二次型、不定二次型）

解：
∣ A − λ E ∣   =   ∣ − λ 1 1 − 1 1 − λ − 1 1 1 − 1 − λ 1 − 1 1 1 − λ ∣   =   ∣ 1 − λ 1 − λ 1 − λ 1 − λ 1 − λ − 1 1 1 − 1 − λ 1 − 1 1 1 − λ ∣ =   ( 1 − λ ) ∣ 1 1 1 1 1 − λ − 1 1 1 − 1 − λ 1 − 1 1 1 − λ ∣   =   ( 1 − λ ) ∣ 1 1 1 1 0 − λ − 1 − 2 0 0 − 2 − λ − 1 0 0 2 2 1 − λ ∣   =   ( 1 − λ ) 2 ( λ 2 + 2 λ − 3 ) = ( λ − 1 ) 3 ( λ + 3 )

$$\begin{aligned} & |A-\lambda E| ~=~ \begin{vmatrix} -\lambda & 1 & 1 & -1 \\ 1 & -\lambda & -1 & 1 \\ 1 & -1 & -\lambda & 1 \\ -1 & 1 & 1 & -\lambda \\ \end{vmatrix} ~=~ \begin{vmatrix} 1-\lambda & 1-\lambda & 1-\lambda & 1-\lambda \\ 1 & -\lambda & -1 & 1 \\ 1 & -1 & -\lambda & 1 \\ -1 & 1 & 1 & -\lambda \\ \end{vmatrix} \\\\ & =~ (1-\lambda) \begin{vmatrix} 1 & 1 & 1 & 1 \\ 1 & -\lambda & -1 & 1 \\ 1 & -1 & -\lambda & 1 \\ -1 & 1 & 1 & -\lambda \\ \end{vmatrix} ~=~ (1-\lambda) \begin{vmatrix} 1 & 1 & 1 & 1 \\ 0 & -\lambda-1 & -2 & 0 \\ 0 & -2 & -\lambda-1 & 0 \\ 0 & 2 & 2 & 1-\lambda \\ \end{vmatrix} \\\\\ & =~ (1-\lambda)^{2} {(\lambda^2}+2\lambda-3) = (\lambda-1)^3(\lambda+3) \end{aligned}$$  ​∣A−λE∣ =  ​−λ11−1​1−λ−11​1−1−λ1​−111−λ​ ​ =  ​1−λ11−1​1−λ−λ−11​1−λ−1−λ1​1−λ11−λ​ ​= (1−λ) ​111−1​1−λ−11​1−1−λ1​111−λ​ ​ = (1−λ) ​1000​1−λ−1−22​1−2−λ−12​1001−λ​ ​= (1−λ)2(λ2+2λ−3)=(λ−1)3(λ+3)​
求得 ${\lambda }_1={\lambda }_2={\lambda }_3=1,{\lambda }_4=-3$ ，

故矩阵 $A$ 是特征值既有大于零又有小于零的实对称矩阵，属于不定二次型。