【深度学习学习笔记】4.前馈神经网络之二：前馈网络

一、三种网络结构

1.前馈网络

前馈神经网络的信息朝一个方向传播，没有反向的信息传播，可以用一个有向无环图表示。前馈网络包括全连接前馈网络和卷积神经网络等。

2.反馈网络

反馈网络中神经元不但可以接收其它神经元的信号，也可以接收自己的反馈信号。和前馈网络相比， 反馈网络中的神经元具有记忆功能， 在不同的时刻具有不同的状态。反馈神经网络中的信息传播可以是单向的，用一个有向循环图表示；也可以是双向传递，用无向图来表示。 反馈网络包括循环神经网络、 Hopfield网络、玻尔兹曼机。
为了增强记忆网络的记忆容量， 可以引入外部记忆单元和读写机制， 用来保存一些网络的中间状态，称为记忆增强网络（Memory-Augmented Neural Net-
work），比如神经图灵机[Graves et al., 2014]和记忆网络[Sukhbaataret al., 2015]等。

3.图网络

图网络是定义在图结构数据上的神经网络。
前馈网络和反馈网络的输入都可以表示为向量或向量序列。但实际应用中很多数据是图结构的数据，比如知识图谱、社交网络、分子（molecular ）网络等。图网络中每个节点都一个或一组神经元构成。节点之间的连接可以是有向的，也可以是无向的。每个节点可以收到来自相邻节点或自身的信息。
图网络是前馈网络和记忆网络的泛化，包含很多不同的实现方式，比如图卷积网络（Graph Convolutional Network， GCN）[Kipf and Welling, 2016]、 消息传递网络（Message Passing Neural Network，MPNN）[Gilmer et al., 2017]等。

二、详细介绍-前馈神经网络

• $L$：表示神经网络的层数；一般只包括隐藏层和输出层。
• $m^{(l)}$：表示第l层神经元的个数；
• $f_l(\cdot )$：表示l层神经元的激活函数；
• $W^{(l)}\in R^{m^{(l)}\times m^{l-1}}$：表示l − 1层到第l层的权重矩阵；
• $b^{(l)}\in R^{m^l}$：表示l − 1层到第l层的偏置；
• $z^{(l)}\in R^{m^l}$：表示l层神经元的净输入（净活性值） ；
• $a^{(l)}\in R^{m^l}$：表示l层神经元的输出（活性值） 。

网络中信息传播公式：

$z^{(l)}=W^{(l)}\cdot a^{(l-1)}+b^{(l)}$
$a^{(l)}=f_l(z^{(l)})$

二式合并：

$z^{(l)}=W^{(l)}\cdot f_{l-1}{z}^{(l-1)}+b^{(l)}$
$a^{(l)}=f_l(W^{(l)}\cdot a^{(l-1)}+b^{(l)})$

多层前馈神经网络也可以看成是一种特征转换方法

多层前馈神经网络也可以看成是一种特征转换方法，将输入$x\in R^d$映射到输出$\phi (x)\in R^{d^r}$，其输出φ(x)作为分类器的输入进行分类。
如果分类器g(·)为Logistic回归分类器或softmax回归分类器，那么g(·)也可以看成是网络的最后一层，即神经网络直接输出不同类别的后验概率。
反之，Logistic 回归或 soft-max回归也可以看作是只有一层的神经网络。
对于两类分类问题y ∈ {0,1}，并采用Logistic回归，那么Logistic回归分类器可以看成神经网络的最后一层。也就是说，网络的最后一层只用一个神经元，并且其激活函数为Logistic函数。网络的输出可以直接可以作为类别y = 1的后验概率。

$p(y=1|x)=a^{(L)}$

对于多类分类问题y ∈ {1,· · · , C}，如果使用softmax回归分类器，相当于网络最后一层设置C 个神经元，其激活函数为softmax函数。网络的输出可以作为每个类的后验概率。

$ˆy=softmax(z^{(L)})$

参数学习:反向传播算法

梯度下降法需要计算损失函数对参数的偏导数，在神经网络的训练中经常使用反向传播算法来计算高效地梯度。
交叉熵损失函数：

$L(y,ˆy)=-y^T\cdot log(ˆy)$

其中y ∈ {0,1}${}^C为$标签y对应的one-hot向量表示。
$L(y,ˆy)$对$W$的偏导十分繁琐，先计算对$W_{ij}$的偏导：

$\frac{\partial L(y,ˆy)}{\partial W_{ij}^{(l)}}=(\frac{\partial z^{(l)}}{\partial W_{ij}^{(l)}}{)}^T\frac{\partial L(y,ˆy)}{\partial z^{(l)}}$

$L(y,ˆy)$对b的偏导：

$\frac{\partial L(y,ˆy)}{\partial b^{(l)}}=(\frac{\partial z^{(l)}}{\partial b^{(l)}}{)}^T\frac{\partial L(y,ˆy)}{\partial z^{(l)}}$

两个式子中的第二项是目标函数关于第l层的神经元z(l)的
偏导数， 称为误差项。
偏导数:

(1)$\frac{\partial z^{(l)}}{\partial W_{ij}^{(l)}}=\left[\begin{array}{c}0\\ \cdot \\ a_j^{}l-1\\ \cdot \\ 0\end{array}\right]={\prod }_i(a_j^{(l-1)})$

(2) $\frac{\partial z^{(l)}}{\partial b^{(l)}}=I_m^{(l)}$

(3) 误差项：${\delta }^{(l)}=\frac{\partial L(y,ˆy)}{\partial z^{(l)}}=f_l^{\prime }(z^{(l)})\odot ((W^{(l+1)}{)}^T{\delta }^{(l+1)})$

第l层的误差项可以通过第l + 1层的误差项计算得到，这就是误差的反向传播。
可得

$\frac{\partial L(y,ˆy)}{\partial W_{ij}^{(l)}}={\prod }_i(a_j^{(l-1)}{)}^T{\delta }^{(l)}={\delta }_i^{(l)}{a}_j^{(l-1)}$

可得

$\frac{\partial L(y,ˆy)}{\partial W^{(l)}}={\delta }^{(l)}(a^{(l-1)}{)}^T$

$\frac{\partial L(y,ˆy)}{\partial b^{(l)}}={\delta }^{(l)}$