深度学习之自然梯度法和线性判别分析

1 自然梯度法

1.1 为什么我们需要自然梯度

传统的梯度下降方法是在欧氏空间进行、并与时序过程结合的优化方法，但这样的更新过程无法度量由于参数变化引起的概率属性的变化（这一点也可以认为是传统梯度下降方法的缺点）。在如强化学习等很多应用领域关注模型输出的概率分布，优化过程常常需要在一定概率属性的约束下完成，这就需要自然梯度。

1.2 如何定义自然梯度

若度量模型参数变化引起的概率分布变化，常用的“距离”度量是KL散度（Kullback-Leibler divergence）。设模型概率分布为$p(x;\theta )$，其与参数变动后的概率分布间的KL散度为：
$$D_{KL}(p(x;\theta )||p(x;\theta +\delta \theta ))=\int p(x;\theta )log\frac{p(x;\theta )}{p(x;\theta +\delta \theta )}dx$$
我们令$f(\theta +\delta \theta )=logp(x;\theta +\delta \theta )$，做泰勒展开取二阶近似（忽略高阶余项）得到：
$$f(\theta +\delta \theta )\approx f(\theta )+\delta {\theta }^T\frac{\partial f(\theta )}{\partial \theta }+\frac{1}{2}\delta {\theta }^T\frac{\partial f(\theta )}{\partial \theta }\frac{\partial f(\theta {)}^T}{\partial \theta }\delta \theta$$
带入到$D_{KL}(p(x;\theta )||p(x;\theta +\delta \theta ))$中可得到：
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ D_{KL}(p(x;\th…
我们记在KL散度意义下的参数增量为$\delta {\theta }_G$，接下来我们寻求在$||\delta {\theta }_G|{|}^2=ϵ$约束下$\delta {\theta }_G$的方向，使得目标函数$J(\theta )$下降最快,即$J(\theta +\delta \theta )-J(\theta )$最大。应用拉格朗日乘子法：
$$\underset{\delta \theta }{\max }J(\theta +\delta \theta )-J(\theta )-\lambda (||\delta {\theta }_G|{|}^2-ϵ)$$
应用一阶泰勒展开等价于:
$$\underset{\delta \theta }{\max }\nabla \delta {\theta }^{T}J(\theta )-\frac{1}{2}\lambda \delta {\theta }^{T}G\delta \theta$$
对$\delta \theta$求导得$\nabla J(\theta )-\lambda G\delta \theta =0$，即$\delta \theta =\frac{1}{\lambda }{G}^{-1}\nabla J(\theta )$，其中$G^{-1}\nabla J(\theta )$称为自然梯度，相应的自然梯度下降公式为${\theta }_{k+1}={\theta }_k-{\alpha }_k{G}^{-1}({\theta }_k)\nabla J({\theta }_K)$。

1.3 Fisher信息矩阵的意义

首先我们对一个模型进行建模，成为以$\theta$为参数的概率分布$p(x;\theta )$。为求出一个合理的$\theta$我们需要一个评分函数（score function）：$s(\theta )={\nabla }_{\theta }logp(x;\theta )$，意为对数似然的梯度，当分数为0时（对数似然梯度为0），对数似然达到极值。对评分函数求关于$p(x;\theta )$数学期望$p_E$不难发现期望为0。接下来求估计误差的界，我们用评分函数的方差来确定，即$E_{p(x;\theta )}[(s(\theta )-p_E)(s(\theta -p_E{)}^T)]$。带入评分函数的数学表达形式则等价于Fisher信息矩阵$G(\theta )=\int p(x;\theta )\frac{\partial f(\theta )}{\partial \theta }\frac{\partial f(\theta {)}^T}{\partial \theta }dx$。特别地，Fisher信息矩阵与评分函数${\nabla }_{\theta }logp(x;\theta )$的Hessian似然的负数等价。

证明：首先求出评分函数的Hessian矩阵，由梯度的Jacobian决定
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ H_{logp(x;\the…
等式两边同时求关于$p(x;\theta )$的数学期望：
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ E_{p(x;\theta)…
而Hessian矩阵刻画着对数似然函数的曲率，所以本质上自然梯度下降法是在一个消除了不同概率分布的曲率后，在同一个“平坦”曲面上进行迭代更新，步长等于原概率分布空间的步长按照曲率折合到新的“平坦曲面”的大小。

值得注意的一点是，一般来说似然函数获取很难，在实际问题中，我们可以用采样的方法从数据集中采样数据，将Fisher信息矩阵原始表达式的积分变为求和来近似估计，这样的方式得到的Fisher信息矩阵称为经验Fisher。

2. 线性判别分析（LDA）

2.1 LDA思想总结

​ 线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的降维方法。和主成分分析PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。

LDA分类思想简单总结如下：

1. 多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据进行处理。
2. 对于训练数据，设法将多维数据投影到一条直线上，同类数据的投影点尽可能接近，异类数据点尽可能远离。
3. 对数据进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。

如果用一句话概括LDA思想，即“投影后类内方差最小，类间方差最大”。

2.2 图解LDA核心思想

​ 假设有红、蓝两类数据，这些数据特征均为二维，如下图所示。我们的目标是将这些数据投影到一维，让每一类相近的数据的投影点尽可能接近，不同类别数据尽可能远，即图中红色和蓝色数据中心之间的距离尽可能大。

左图和右图是两种不同的投影方式。

​ 左图思路：让不同类别的平均点距离最远的投影方式。

​ 右图思路：让同类别的数据挨得最近的投影方式。

​ 从上图直观看出，右图红色数据和蓝色数据在各自的区域来说相对集中，根据数据分布直方图也可看出，所以右图的投影效果好于左图，左图中间直方图部分有明显交集。

​ 以上例子是基于数据是二维的，分类后的投影是一条直线。如果原始数据是多维的，则投影后的分类面是一低维的超平面。

2.3 二类LDA算法原理

​ 输入：数据集 $D=\{({\mathbf{x}}_1,{\mathbf{y}}_1),({\mathbf{x}}_2,{\mathbf{y}}_2),...,({\mathbf{x}}_m,{\mathbf{y}}_m)\}$，其中样本 ${\mathbf{x}}_i$ 是n维向量， y i ϵ { 0 , 1 } ​ \boldsymbol y_i \epsilon \{0, 1\}​ yi​ϵ{0,1}​，降维后的目标维度 $d$。定义

​ $N_j(j=0,1)$ 为第 $j$ 类样本个数；

​ $X_j(j=0,1)$ 为第 $j$ 类样本的集合；

​ $u_j(j=0,1)$ 为第 $j$ 类样本的均值向量；

​ ${\sum }_j(j=0,1)$ 为第 $j$ 类样本的协方差矩阵。

​ 其中
$$u_j=\frac{1}{N_j}\sum _{\mathbf{x}ϵX_j}\mathbf{x}(j=0,1)，\sum _j=\sum _{\mathbf{x}ϵX_j}(\mathbf{x}-u_j)(\mathbf{x}-u_j{)}^T(j=0,1)$$
​ 假设投影直线是向量 $\mathbf{w}$，对任意样本 ${\mathbf{x}}_i$，它在直线 $w$上的投影为 ${\mathbf{w}}^T{x}_i$，两个类别的中心点 $u_0$, $u_1 $在直线 $w$ 的投影分别为 ${\mathbf{w}}^T{u}_0$ 、${\mathbf{w}}^T{u}_1$。

​ LDA的目标是让两类别的数据中心间的距离 $\Vert {\mathbf{w}}^T{u}_0-{\mathbf{w}}^T{u}_1{\Vert }_2^2$ 尽量大，与此同时，希望同类样本投影点的协方差${\mathbf{w}}^T{\sum }_0\mathbf{w}$、${\mathbf{w}}^T{\sum }_1\mathbf{w}$ 尽量小，最小化 ${\mathbf{w}}^T{\sum }_0\mathbf{w}+{\mathbf{w}}^T{\sum }_1\mathbf{w}$ 。
​ 定义
​ 类内散度矩阵
$$S_w=\sum _0+\sum _1=\sum _{\mathbf{x}ϵX_0}(\mathbf{x}-u_0)(\mathbf{x}-u_0{)}^T+\sum _{\mathbf{x}ϵX_1}(\mathbf{x}-u_1)(\mathbf{x}-u_1{)}^T$$
​ 类间散度矩阵 $S_b=(u_0-u_1)(u_0-u_1{)}^T$

​ 据上分析，优化目标为
KaTeX parse error: Got function '\boldsymbol' with no arguments as subscript at position 20: …thop{\arg\max}_\̲b̲o̲l̲d̲s̲y̲m̲b̲o̲l̲ ̲w J(\boldsymbol…
​ 根据广义瑞利商的性质，矩阵 $S_w^{-1}{S}_b$ 的最大特征值为 $J(\mathbf{w})$ 的最大值，矩阵 $S_w^{-1}{S}_b$ 的最大特征值对应的特征向量即为 $\mathbf{w}$。

2.4 LDA算法流程总结

LDA算法降维流程如下：

​ 输入：数据集 $D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$，其中样本 $x_i $ 是n维向量， y i ϵ { C 1 , C 2 , . . . , C k } y_i \epsilon \{C_1, C_2, ..., C_k\} yi​ϵ{C1​,C2​,...,Ck​}，降维后的目标维度 $d$ 。

​ 输出：降维后的数据集 $\overline{D} $ 。

步骤：

1. 计算类内散度矩阵 $S_w$。
2. 计算类间散度矩阵 $S_b$ 。
3. 计算矩阵 $S_w^{-1}{S}_b$ 。
4. 计算矩阵 $S_w^{-1}{S}_b$ 的最大的 d 个特征值。
5. 计算 d 个特征值对应的 d 个特征向量，记投影矩阵为 W 。
6. 转化样本集的每个样本，得到新样本 $P_i=W^T{x}_i$ 。
7. 输出新样本集 $\overline{D}=\{(p_1,y_1),(p_2,y_2),...,(p_m,y_m)\}$

2.5 LDA和PCA区别

2.6 LDA优缺点