pytorch文本分类（三）模型框架（DNN&textCNN）_pytorch框架图

pytorch文本分类（三）模型框架（DNN&textCNN）

本文是在原本闯关训练的基础上总结得来，加入了自己的理解以及疑问解答（by GPT4）

原任务链接

1. 背景知识

该训练营主要讲解深度学习的自然语言处理，在讲解模型框架之前，先补充一下深度学习的背景知识。

深度学习

深度学习是机器学习的一个分支。许多传统机器学习算法学习能力有限，数据量的增加并不能持续增加学到的知识总量，而深度学习系统可以通过访问更多数据来提升性能，即“更多经验”的机器代名词。机器通过深度学习获得足够经验后，即可用于特定的任务，如驾驶汽车、识别田地作物间的杂草、确诊疾病、检测机器故障等。

深度结构有着强大的非线性拟合能力，可以任意精度逼近任何非线性连续函数，来进行高纬度数据处理，同时配合着强大的特征提取能力，可以通过自动学习出数据中的“合理规则”。同时缺点在于模型过于黑盒，隐藏了许多可解释性，并且计算量高，需要高性能硬件，寻找的一般是数据间的相关性，模型无法检测出数据对背后的因果逻辑，因此对新鲜数据的适应性差。

2. DNN

深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础。需要理解DNN，必需要知道DNN背后的模型。

2.1 从感知器到神经网络

抽象模拟脑电波在脑神经间的传递过程，以获得机器学习中最简单的神经网络——感知器。感知器的模型是有若干输入和一个输出的模型，然后探究输出和输入之间学习到一个线性关系，y = Σwx + b。因为脑神经中有个机制是抑制和激活状态，在线性关系之后可以加入一个激活参数，决定感知器的激活状态，使输出在 -1～1之间。单个感知器只能处理二元分类问题，而神经网络会在感知器上进行拓展，以完成更加复杂的任务。
如上图所示，x为输入，y为输出，w、b为线性参数，f为激活函数。

神经网络在横向和纵向维度对感知器进行拓展，比如添加隐藏层以纵向拓展其深度，增加输出结果以横向拓展宽度，丰富激活函数的种类以加强其非线性变换能力，增强神经网络的表达能力。在下面的图中，每一个圆圈表示一个感知器，有输入有输出也有激活函数，颜色深浅表示激活程度。

2.2 DNN的基本结构

神经网络层可以分为三类，输入层，隐藏层和输出层，如上图示例。一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层（注意输入层是没有w参数的）。

2.2.1 前向传播算法

假设选择的激活函数是Sigmoid函数，隐藏层和输出层的输出值为a ，则对于下图的三层DNN，利用和感知机一样的思路，我们可以利用上一层的输出计算下一层的输出，也就是所谓的DNN前向传播算法。使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较的简洁。比如输入层有m个输入，后面接着的隐藏层有n个输出，使用一个w的矩阵[m×n]，即可把m个输入转化为n个输出。然后利用若干个权重系数矩阵W，偏倚向量b来和输入值向量x进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为值。

激活函数

激活函数是非线性函数，通过加入激活函数，使得感知器可以处理一些最基本的异或问题，甚至是更复杂的非线性问题。
常见的激活函数
sigmoid函数：

其缺点如下：

1. 当输入很大或很小，饱和的神经元会带来梯度消失（Gradient Vanishing)；
2. 函数的输出不是以0为对称的（zero-centered）；
3. 使用指数函数，计算代价有点高。

tanh函数

与sigmoid函数相比，其解决了zero-centered的问题。但是，梯度消失与指数函数计算代价高的问题，仍然存在。

relu函数

优点：

1. 在输入空间的一半都不存在饱和问题；
2. 收敛速度快；
   缺点：
3. 输出不是以0为中心；
4. Dead Relu Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不会被更新（参数初始化问题或者参数更新太大）；
5. 在输入空间的另一半会存在梯度消失的问题。

2.2.2 反向传播算法

如果我们采用DNN的模型，即输入层m个神经元，输出层有n个神经元。再加上一些含有若干神经元的隐藏层。此时需要找到合适的所有隐藏层和输出层对应的线性系数矩阵W，偏倚向量b，让所有的训练样本输入计算出的输出尽可能的等于或很接近样本输出。怎么找到合适的参数呢？

可以用一个合适的损失函数来度量训练样本的输出损失，接着对这个损失函数进行优化求最小化的极值，对应的一系列线性系数矩阵W，偏倚向量b即为我们的最终结果。在DNN中，损失函数优化极值求解的过程最常见的一般是通过梯度下降法来一步步迭代完成的。

损失函数

损失函数用来评价模型的预测值和真实值的残差，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。这里将常用的损失函数分为了两大类：回归和分类问题。然后又分别对这两类进行了细分和讲解，其中回归中包含了一种不太常见的损失函数：平均偏差误差，可以用来确定模型中存在正偏差还是负偏差。

回归问题处理的则是连续值的预测问题，例如给定房屋面积、房间数量以及房间大小，预测房屋价格。在分类任务中，我们要从类别值有限的数据集中预测输出，比如给定一个手写数字图像的大数据集，将其分为 0～9 中的一个。

在本次训练营中，我们关注的是文本分类问题，分类问题常用的损失函数是交叉熵(cross-entropy)。
在二分类场景下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为p和1-p，此时表达式为（log 的底数是 e）：

其中：
yi 表示样本 i 的label，正类为 1 ，负类为 0
pi 表示样本 i 预测为正类的概率

多分类的情况实际上就是对二分类的扩展：

M类别的数量
yic 符号函数（ 0 或 1 ），如果样本 i 的真实类别等于 c 取 1 ，否则取 0
pic 观测样本 i 属于类别 c 的预测概率