泰勒展开与黑塞矩阵(Hessian Matrix)_泰勒展开式用矩阵表示

黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。
在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数。

二元函数的黑塞矩阵

根据高等数学知识，若一元函数 $f(x)$ 在 $x=x^{(0)}$ 点某个领域内具有任意阶导数，则 $f(x)$ 在 $x^{(0)}$处的泰勒展开式为
$$f(x)=f(x^{(0)})+f^{\prime }(x^{(0)})\Delta x+\frac{1}{2}{f}^{\prime \prime }(x^{(0)})(\Delta x{)}^2+...$$
其中 $\Delta x=x-x^{(0)},\Delta x^2=(x-x^{(0)}{)}^2$
对于二元函数 $f(x_1,x_2)$ 在$X^{(0)}(x_1^{(0)},x_2^{(0)})$ 点处的泰勒展开式为：
$$f(x_1,x_2)=f(x_1^{(0)},x_2^{(0)})+\frac{\partial f}{\partial x_1}{|}_{X^{(0)}}\Delta x_1+\frac{\partial f}{\partial x_2}{|}_{X^{(0)}}\Delta x_2+\frac{1}{2}[\frac{{\partial }^{2}f}{\partial x_1^2}{|}_{X^{(0)}}\Delta x_1^2+2\frac{{\partial }^{2}f}{\partial x_1\partial x_2}{|}_{X^{(0)}}\Delta x_1\Delta x_2+\frac{{\partial }^{2}f}{\partial x_2^2}{|}_{X^{(0)}}\Delta x_2^2]+...$$
其中$\Delta x_1=x_1-x_1^{(0)},\Delta x_2=x_2-x_2^{(0)}$
将上述展开式写成矩阵形式，则有：
f ( X ) = f ( X ( 0 ) ) + ( ∂ f ∂ x 1 , ∂ f ∂ x 2 ) X ( 0 ) ( Δ x 1 Δ x 2 ) + 1 2 ( Δ x 1 , Δ x 2 ) ( ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ) ∣ X ( 0 ) ( Δ x 1 Δ x 2 ) + . . . f(X)=f(X^{(0)})+(\frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2})_{X_{(0)}}\dbinom{\Delta x_1}{\Delta x_2}+\frac{1}{2}(\Delta x_1, \Delta x_2)

$$\begin{pmatrix}\frac{\partial^2 f}{\partial x_1^2}&\frac{\partial^2f}{\partial x_1\partial x_2}\\ \frac{\partial^2f}{\partial x_2\partial x_1}&\frac{\partial^2 f}{\partial x_2^2}\end{pmatrix}$$ \bigg|_{X^{(0)}}\dbinom{\Delta x_1}{\Delta x_2}+... f(X)=f(X(0))+(∂x1​∂f​,∂x2​∂f​)X(0)​​(Δx2​Δx1​​)+21​(Δx1​,Δx2​)(∂x12​∂2f​∂x2​∂x1​∂2f​​∂x1​∂x2​∂2f​∂x22​∂2f​​)∣∣∣∣​X(0)​(Δx2​Δx1​​)+...
即：
$$f(X)=f(X^{(0)})+\Delta f(X^{(0)}{)}^T\Delta X+\frac{1}{2}\Delta X^{T}G(X^{(0)})\Delta X+...$$
其中
$$G(X^{(0)})=\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right){|}_{X^{(0)}},\Delta X=\left(\genfrac{}{}{0ex}{}{\Delta x_1}{\Delta x_2}\right)$$
$G(X^{(0)})$ 是$f(x_1,x_2)$ 在 $X^{(0)}$ 处的黑塞矩阵。它是由函数$f((x_1,x_2)$ 在 $X^{(0)}$ 处的二阶偏导数所组成的方阵

多元函数的黑塞矩阵
将二元函数的泰勒展开式推广到多元函数，则 $f(x_1,x_2,...,x_n)$ 在 $X^{(0)}$ 点处的泰勒展开式的矩阵形式为：
$$f(X)=f(X^{(0)})+\Delta f(X^{(0)}{)}^T\Delta X+\frac{1}{2}\Delta X^{T}G(X^{(0)})\Delta X+...$$
其中：
（1）$\Delta f(X^{0)})=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n}]{|}_{X^{(0)}}^T$，他是 $f(x)$ 在$X^{(0)}$ 点处的梯度
（2） G ( X ( 0 ) ) = ( ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 . . . ∂ 2 f ∂ x 1 ∂ x n ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 . . . ∂ 2 f ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f ∂ x n ∂ x 1 ∂ 2 f ∂ x n ∂ x 2 . . . ∂ 2 f ∂ x n 2 ) X ( 0 ) G(X^{(0)})=

$$\begin{pmatrix}\frac{\partial^2 f}{\partial x_1^2}&\frac{\partial^2 f}{\partial x_1\partial x_2}&...&\frac{\partial^2 f}{\partial x_1\partial x_n}\\\frac{\partial^2 f}{\partial x_2\partial x_1}&\frac{\partial^2 f}{\partial x_2^2}&...&\frac{\partial^2 f}{\partial x_2\partial x_n}\\\vdots&\vdots&\ddots&\vdots\\\frac{\partial^2 f}{\partial x_n\partial x_1}&\frac{\partial^2 f}{\partial x_n\partial x_2}&...&\frac{\partial^2 f}{\partial x_n^2}\\\end{pmatrix}$$ _{X^{(0)}} G(X(0))=⎝⎜⎜⎜⎜⎜⎛​∂x12​∂2f​∂x2​∂x1​∂2f​⋮∂xn​∂x1​∂2f​​∂x1​∂x2​∂2f​∂x22​∂2f​⋮∂xn​∂x2​∂2f​​......⋱...​∂x1​∂xn​∂2f​∂x2​∂xn​∂2f​⋮∂xn2​∂2f​​⎠⎟⎟⎟⎟⎟⎞​X(0)​ 为函数 $f(X)$ 在 $X^{(0)}$ 点处的黑塞矩阵。
黑塞矩阵是由目标函数 $f$ 在点X处的二阶偏导数组成的 $n\times n$ 阶对称矩阵。