梯度，hesse阵与Jacobi矩阵

分清楚三个量的含义和计算方法。

梯度

表征的是一个列向量，是相对于某个方向而言的，但是某个方向上可能有多个变量，所以梯度不是简单的直接求偏导，并且说了，它是一个列向量，所以，
我们设$f:F$是$R^n$->$R$的一阶连续可微函数，则$f$在$x$处的一阶偏导数：
$\nabla$$f(x)$=($\frac{\partial f(x)}{\partial x_1}$,$\frac{\partial f(x)}{\partial x_1}$,$\cdots$,$\frac{\partial f(x)}{\partial x_n}$)${}^T$
即：
∇ f ( x ) = ( ∂ f ( x ) ∂ x 1 ∂ f ( x ) ∂ x 2 ⋮ ∂ f ( x ) ∂ x n ) \nabla{f(x)}=\left(

$$\begin{matrix}\frac{\partial f(x)}{\partial x_1} \\ \frac{\partial f(x)}{\partial x_2} \\ \vdots \\ \frac{\partial f(x)}{\partial x_n} \end{matrix}$$ \right) ∇f(x)= ​∂x1​∂f(x)​∂x2​∂f(x)​⋮∂xn​∂f(x)​​ ​
所以说是一个$R_n->R$的变换

hesse阵

在梯度的基础上就是二阶偏导就是hesse阵，注意由于是二阶偏导，所以不止是平方，还有混合偏导数的存在。

${\nabla }^{2}f(x)$=($\frac{{\partial }^{2}f}{\partial x_i\partial x_j}{)}_{n\times n}$

∇ 2 f ( x ) = ( ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ∂ x 1 ∂ x n ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ⋯ ∂ 2 f ∂ x 2 ∂ x n ⋮ ∂ 2 f ∂ x n ∂ x 1 ∂ 2 f ∂ x n ∂ x 2 ⋯ ∂ 2 f ∂ x n 2 ) \nabla^2f(x)=\left(

$$\begin{matrix} \frac{\partial^2f}{\partial x_1^2} \frac {\partial^2f}{\partial x_1\partial x_2} \cdots \frac{\partial^2f}{\partial x_1\partial x_n} \\ \frac{\partial^2f}{\partial x_2 \partial x_1} \frac{\partial^2f}{\partial x_2^2} \cdots \frac{\partial^2f}{\partial x_2 \partial x_n} \\ \vdots \\ \frac{\partial^2f}{\partial x_n \partial x_1} \frac{\partial^2f}{\partial x_n \partial x_2} \cdots \frac{\partial^2f}{\partial x_n^2} \end{matrix}$$ \right) ∇2f(x)= ​∂x12​∂2f​∂x1​∂x2​∂2f​⋯∂x1​∂xn​∂2f​∂x2​∂x1​∂2f​∂x22​∂2f​⋯∂x2​∂xn​∂2f​⋮∂xn​∂x1​∂2f​∂xn​∂x2​∂2f​⋯∂xn2​∂2f​​ ​
每一行都已$x_i$开始，然后求二阶继续从$x_i$到$x_n$求出

雅可比

其实是一种维度拓宽的梯度的表示方法，也就是$f$是$F\subseteq R^n\to R^m$，$x$在F上连续可微，则一阶导数为：

$F^{\prime }(x)=(\frac{\partial F_i(x)}{\partial x_j}{)}_{m\times n}\in R^{m\times n}$
也就是说，向量值函数的导数就是雅可比矩阵，向量中的每一项分别求梯度再组合起来。
比如：对于$f:R^n\to R$
我们可以和梯度以及hesse阵联系起来看Jacobi矩阵，
$H(x)=J(\nabla f(x))$
$H(x)={\nabla }^{2}f(x)$
梯度的Jacobi矩阵就是hesse阵。
举个例子说明一下：

以上用到的markdown语法
分数$\frac{x}{y}$ \frac{x}{y}
偏导数$\partial f(x)$ \partial{f(x)}
梯度$\nabla f(x)$ \nabla{f(x)}
表示x_1^2的：$x_i^j$
×：\times
vdots
cdots
\leftarrow
\rightarrow
\in 属于
$\subseteq$ 包含 \subseteq