自然语言处理之神经网络基础（四）_自然语言处理神经网络模型理论基础

1.1神经网络的基本概念

神经网络（neural network，NN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。

• 前馈神经网络基础
• 卷积神经网络
• 卷积神经网络的文本分类

3 前馈神经网络基础

3.1 神经元

• 一个神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。
  

3.2 前馈神经网络结构

• 神经元与前馈神经网络的特点：连接权重；加法器；激活函数
• 前馈神经网路由输入层，隐藏层和输出层组成。
  

4 卷积神经网络

4.1 卷积神经网络的构成

• 卷积、池化、ReLU、批归一化、Dropout
  
• 卷积操作示意图
  
• 卷积操作步幅：输入图像和输出图像的关系
  

4.2 池化

池化是使用某一位的相邻输出的总体统计特征来替代网络在该位置的输出

5 卷积神经网络的文本分类

5.1 文字转化为图片

• 卷积神经网络在处理文本数据时，可以将文字看成一副图片，如下图所示：
  

5.2 TextCNN的网络结构

5.3TextCNN的原理图

• Embedding：第一层时图中最左边的7乘5的句子矩阵，每行是词向量，维度=5，这个可以类比为图像中的原始像素点。
• Convolution：然后经过kernel_sizes=（2，3，4）的一维卷积，每个kernel_sizes有两个输出channel。
• MaxPooling：第三层是一个1-max pooling层，这样不同长度矩阵经过pooling层之后都能变成顶层的表示。
• Fullconnection and Softmax：最后接一层全连接的softmax层，输出每个类别的概率。