nlp深度学习基础-CNN、GNN、RNN_cnn gnn

卷积神经网络CNN

• DNN存在的问题，当层数和神经元个数都很大时，权重矩阵的参数也会非常多，训练效率就会非常低。
• 解决方案：CNN

组成
CNN是由卷积层、子采样层、全连接层交叉堆叠而成

卷积层

单卷积核：输入多少层输出多少层

多卷积核：输出不一样的层数

问题： 卷积连接虽然减少了参数，但网络规模（结点数）并没有减少
解决方案： 池化（Pooling）

池化层

通过采用缩小网络规模
优点：网络规模缩小，参数量进一步减少

常用池化方法

1. Max Pooling
2. Mean Pooling
   

全连接层

将最后池化层的单元“平化”然后组成全连接输入网

CNN网络结构

• 输入：X
• 输出：Y
• 参数：各卷积层中各过滤值和偏置；卷积层到池化层权重和偏置；全连接输出网络各连接权重和偏置
• 函数关系：X->Y：若干（卷积层+采样层）+全连接层

结构特性

1. 局部连接
2. 权重共享
3. 空间或时间上的次采样

参数学习

CNN在NLP上的应用

各种分类任务：文本分析、情感分析、实体关系抽取等等
用于其他任务的特征提取

图卷积神经网络GNN

结构

• 输入：原网状结构
• 输出：带有原图特征信息的网结构

问题：邻接结点的个数不能确定
解决方案：先将结点的邻接结点聚集到结点旁边

参数维度

X：结点数*特征数
W：特征数*下一层的特征数

卷积步骤

方案一、Basic GNN
把邻接结点先聚集到实心结点中

$h_v^k=\sigma (W_k{\sum }_{uϵN(v)}\frac{h_u^{k-1}}{|N(v)|}+B_k{h}_v^{k-1})$

平均邻接结点再加上上一层传过来的结点

方案二、GCN
连同自身聚集到实心结点

$h_v^k=\sigma (W_k{\sum }_{uϵN(v)\cup v}\frac{h_u^{k-1}}{\sqrt{|N(u)||N(v)|}})$

有向图的GNN
出度和入度分开，各卷各的

GNN变形
根据结点聚集和层级连接方法的不同有大量不同形式的GNN

循环神经网络RNN

DNN、CNN存在的问题：

• 输入、输出定长；处理输入输出变长问题效率不高，但NLP中语句通常长度不固定
• 单一DNN、CNN无法处理时序相关序列问题

解决方案：RNN

RNN核心思想

将处理问题在时序上分解为一系列相同的“单元”，单元的神经网络可以在时序上展开，且能将上一时刻的结果传递给下一时刻，整个网络按时间轴展开，即可边长

单元结构

输入：X，来自上时刻隐藏层
输出：Y，给下时刻隐藏层
参数：$W_i、W_o、W_h$
信息传播：$h(t)=\sigma (W_{i}X+W_{h}h(t-1)+b)$
$Y=softmax(W_{o}h(t))$

网络结构

输入输出结构

参数学习算法

BPTT（Backpropagation through time）

问题：距离当前结点越远的结点对当前结点处理影响会越来越小，无法建模长时间的以来
解决方法：LSTM、GRU等

长短时记忆神经网络LSTM（long short-term memory）

基本思想：不仅接受$x_t和h_{t-1}$，还需要建立一个机制能够保留前面远处结点信息在长距离传播中不会被丢失

GRU（Gated Recurrent Unit）

是LSTM简化，输入门和遗忘门合并为更新门（更新门决定隐状态保留放弃部门）