多元函数的泰勒展开Talor以及黑塞矩阵_多维函数泰勒展开

如果想了解更多的知识，可以去我的机器学习之路 The Road To Machine Learning通道

多元函数的泰勒展开Talor以及黑塞矩阵

在学最优化的时候，会遇到很多多元函数的泰勒展开，且很多都是以矩阵形式写的，为了理解更好一点，这里做一些推导

我们先回顾一下，由高等数学知识可知，若一元函数在点的某个邻域内具有任意阶导数

• 一元函数在点$x_k$处的泰勒展开
  $$f(x)=f(x_k)+(x-x_k)f^{\prime }(x_k)+\frac{1}{2!}(x-x_k{)}^2{f}^{\prime \prime }(x_k)+o^n$$

• 二元函数在$(x_k,y_k)$处的泰勒展开
  $$\begin{gathered} f(x,y)=f(x_k,y_k)+(x-x_k)f_x^{\prime }(x_k,y_k)+(y-y_k)f_y^{\prime }(x_k,y_k) \\ +\frac{1}{2!}(x-x_k{)}^2{f}_{xx}^{\prime \prime }(x_k,y_k)+\frac{1}{2!}(x-x_k)(y-y_k)f_{xy}^{\prime \prime }(x_k,y_k) \\ +\frac{1}{2!}(x-x_k)(y-y_k)f_{yx}^{\prime \prime }(x_k,y_k)+\frac{1}{2!}(y-y_k{)}^2{f}_{yy}^{\prime \prime }(x_k,y_k) \\ +o^n \end{gathered}$$

• 多元函数(n)在点$x_k$处的泰勒展开式为：
  $$\begin{gathered} f(x^1,x^2,\dots ,x^n)=f(x_k^1,x_k^2,\dots ,x_k^n)+\sum _{i=1}^n(x^i-x_k^i)f_{x^i}^{\prime }(x_k^1,x_k^2,\dots ,x_k^n) \\ +\frac{1}{2!}\sum _{i,j=1}^n(x^i-x_k^i)(x^j-x_k^j)f_{ij}^{\prime \prime }(x_k^1,x_k^2,\dots ,x_k^n) \\ +o^n \end{gathered}$$

• 把Taylor展开式写成矩阵的形式：
  $$f(\mathbf{x})=f({\mathbf{x}}_k)+[\nabla f({\mathbf{x}}_k){]}^T(\mathbf{x}-{\mathbf{x}}_k)+\frac{1}{2!}[\mathbf{x}-{\mathbf{x}}_k{]}^{T}H({\mathbf{x}}_k)[\mathbf{x}-{\mathbf{x}}_k]+o^n$$
  其中：
  H ( x k ) = [ ∂ 2 f ( x k ) ∂ x 1 2 ∂ 2 f ( x k ) ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ( x k ) ∂ x 1 ∂ x n ∂ 2 f ( x k ) ∂ x 2 ∂ x 1 ∂ 2 f ( x k ) ∂ x 2 2 ⋯ ∂ 2 f ( x k ) ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f ( x k ) ∂ x n ∂ x 1 ∂ 2 f ( x k ) ∂ x n ∂ x 2 ⋯ ∂ 2 f ( x k ) ∂ x n 2 ] H(\mathbf x_k)= \left[

  $$\begin{matrix} \frac{\partial^2f(x_k)}{\partial x_1^2} & \frac{\partial^2f(x_k)}{\partial x_1\partial x_2} & \cdots & \frac{\partial^2f(x_k)}{\partial x_1\partial x_n} \\ \frac{\partial^2f(x_k)}{\partial x_2 \partial x_1} & \frac{\partial^2f(x_k)}{\partial x_2^2} & \cdots & \frac{\partial^2f(x_k)}{\partial x_2\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2f(x_k)}{\partial x_n\partial x_1} & \frac{\partial^2f(x_k)}{\partial x_n\partial x_2} & \cdots & \frac{\partial^2f(x_k)}{\partial x_n^2} \\ \end{matrix}$$ \right] H(xk​)=⎣⎢⎢⎢⎢⎢⎡​∂x12​∂2f(xk​)​∂x2​∂x1​∂2f(xk​)​⋮∂xn​∂x1​∂2f(xk​)​​∂x1​∂x2​∂2f(xk​)​∂x22​∂2f(xk​)​⋮∂xn​∂x2​∂2f(xk​)​​⋯⋯⋱⋯​∂x1​∂xn​∂2f(xk​)​∂x2​∂xn​∂2f(xk​)​⋮∂xn2​∂2f(xk​)​​⎦⎥⎥⎥⎥⎥⎤​

• 当为二元时

∇ f ( x k ) = [ f x ′ ( x k , y k ) f y ′ ( x k , y k ) ] \nabla f(x_k) = \left[

$$\begin{matrix} & f_x' ( x_k , y_k) &\\ & f'_y( x_k , y_k) &\\ \end{matrix}$$ \right] ∇f(xk​)=[​fx′​(xk​,yk​)fy′​(xk​,yk​)​​]

x − x k = [ x − x k y − y k ] x - x_k =

$$\begin{bmatrix} & x - x_k &\\ & y - y_k \end{bmatrix}$$ x−xk​=[​x−xk​y−yk​​]
$$H(x_k)=\left[\begin{array}{cccc}& f_{xx}^{\prime \prime }(x_k,y_k)& f_{xy}^{\prime \prime }(x_k,y_k)& \\ & f_{yx}^{\prime \prime }(x_k,y_k)& f_{yy}^{\prime \prime }(x_k,y_k)& \end{array}\right]$$

具体推导

可能这样还是有点抽象，那我们来一个具体一点的，帮助我们理解
由前面可知二元函数$f(x_1,x_2)$在$X^{(0)}(x_1^{(0)},x_2^{(0)})$点的泰勒展开式为：
$$\begin{gathered} f(x_1,x_2)=f(x_1^{(0)},x_2^{(0)})+\frac{\partial f}{\partial x_1}{|}_{X^{(0)}}\Delta x_1+\frac{\partial f}{\partial x_2}{|}_{X^{(0)}}\Delta x_2 \\ +\frac{1}{2!}\frac{{\partial }^{2}f}{\partial x_1^2}{|}_{X^{(0)}}\Delta x_1^2+\frac{1}{2!}\frac{{\partial }^{2}f}{\partial x_1\partial x_2}{|}_{X^{(0)}}\Delta x_1\Delta x_2+ \\ \frac{1}{2!}\frac{{\partial }^{2}f}{\partial x_2\partial x_1}{|}_{X^{(0)}}\Delta x_1\Delta x_2+\frac{1}{2!}\frac{{\partial }^{2}f}{\partial x_2^2}{|}_{X^{(0)}}\Delta x_2^2+... \end{gathered}$$
其中，$\Delta x_1=x_1-x_1^{(0)},\Delta x_2=x_2-x_2^{(0)}$
若写成矩阵形式，就是如下

所以，写成矩阵形式
$$f(\mathbf{x})=f({\mathbf{x}}_k)+[\nabla f({\mathbf{x}}_k){]}^T(\mathbf{\Delta }x)+\frac{1}{2!}[(\mathbf{\Delta }x){]}^{T}H({\mathbf{x}}_k)[(\mathbf{\Delta }x)]+o^n$$
注：$\nabla f(x_{(0)})\nabla f^T(x_{(0)})$不为在$x^{(0)}$的黑塞矩阵（可证明）

对称性

除此之外，我们二阶偏导数还有一个性质
如果函数$f$在$D$区域内二阶连续可导，那么$f$黑塞矩阵$H(f)在D$区域内为对称矩阵。
原因：如果函数$f$的二阶偏导数连续，则二阶偏导数的求导顺序没有区别，即
$$\frac{\partial }{\partial x}(\frac{\partial f}{\partial y})=\frac{\partial }{\partial y}(\frac{\partial f}{\partial x})$$
则对于矩阵$H(f)$,由$H_{i,j}(f)=H_{j,i}(f)$，所以$H(f)$为对称矩阵

利用黑塞矩阵判定多元函数的极值

定理
设n多元实函数$f(x_1,x_2,\dots ,x_n)$在点$M_0(a_1,a_2,\dots ,a_n)$的邻域内有二阶连续偏导，若有：
$$\frac{\partial f}{\partial x_j}{|}_{(a_1,a_2,\dots ,a_n)}=0,j=1,2,\dots ,n$$
并且
H = [ ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ∂ x 1 ∂ x n ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ⋯ ∂ 2 f ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f ∂ x n ∂ x 1 ∂ 2 f ∂ x n ∂ x 2 ⋯ ∂ 2 f ∂ x n 2 ] H= \left[

$$\begin{matrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1\partial x_2} & \cdots & \frac{\partial^2f}{\partial x_1\partial x_n} \\ \frac{\partial^2f}{\partial x_2 \partial x_1} & \frac{\partial^2f}{\partial x_2^2} & \cdots & \frac{\partial^2f}{\partial x_2\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2f}{\partial x_n\partial x_1} & \frac{\partial^2f}{\partial x_n\partial x_2} & \cdots & \frac{\partial^2f}{\partial x_n^2} \\ \end{matrix}$$ \right] H=⎣⎢⎢⎢⎢⎢⎡​∂x12​∂2f​∂x2​∂x1​∂2f​⋮∂xn​∂x1​∂2f​​∂x1​∂x2​∂2f​∂x22​∂2f​⋮∂xn​∂x2​∂2f​​⋯⋯⋱⋯​∂x1​∂xn​∂2f​∂x2​∂xn​∂2f​⋮∂xn2​∂2f​​⎦⎥⎥⎥⎥⎥⎤​
则有如下结果
（1）当A正定矩阵时， $f(x_1,x_2,\dots ,x_n)$在$M_0(a_1,a_2,\dots ,a_n)$处是极小值；
（2）当A负定矩阵时， $f(x_1,x_2,\dots ,x_n)$在$M_0(a_1,a_2,\dots ,a_n)$处是极大值；
（3）当A不定矩阵时， $M_0(a_1,a_2,\dots ,a_n)$不是极值点。
（4）当A为半正定矩阵或半负定矩阵时， 是“可疑”极值点，尚需要利用其他方法来判定。