输入层。输入层是整个神经网络的输入，在处理图像的卷积神经网络中，它一般代表了一张图片的像素矩阵。三维矩阵的长和宽代表了图像的大小，而三维矩阵的深度代表了图像的色彩通道（channel）。从输入层开始，卷积神经网络通过不同的神经网络结构将上一层的三维矩阵转换成下一层的三维矩阵，直至最后的全连接层。
卷积层。和传统全连接层不同，卷积层中每个节点的输入只是上一层神经网络的一小块，这个小块常用的大小有3*3或者5*5.卷积层试图将神经网络中的每一小块进行更加深入的分析从而得到抽象程度更高的特征。一般来说通过卷积层处理过的节点矩阵会变得更深。
池化层（Pooling）。池化层神经网络不会改变矩阵的深度，但是它可以缩小矩阵的大小。通过池化层可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络中参数的目的。
全连接层。在经过多轮卷积层和池化层的处理之后，在卷积神经网络的最后一般会是由一到两个全连接层来给出最后的分类结果。
softmax层。Softmax层主要用于解决分类问题，通过softmax层，可以得到当前样例属于不同种类的概率分布情况。

因为没太弄清楚卷积和池化所以问了朋友：

*激活函数

激活函数一开始是线性函数g(z)=g(w1x1+w2x2+b)，b表示调整作用的偏置项。后引入非线性激活函数sigmoid函数：

z表示w1x1+w2x2+b或者其他线性组合，其图像表示如下（横轴表示定义域z，纵轴表示值域g(z) ），即将一个实数压缩到0，1空间中，也就是说，sigmoid函数的功能是相当于把一个实数压缩至0到1之间。当z是非常大的正数时，g(z)会趋近于1，而z是非常小的负数时，则g(z)会趋近于0，由此就可以把激活函数堪称一种分类正负样本的概率。

例如，在两个样本的分类问题中，通过设定合适的sigmoid函数使得只有和都取1的时候，g(z)→1，判定为正样本；或取0的时候，g(z)→0，判定为负样本，如此达到分类的目的。

还有常用的非线性激活函数有sigmoid、tanh、relu等等。

*卷积

卷积神经网络在图像识别问题中将图像分割为多个小块，并分别进行匹配。

卷积，即对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）

理解起来，w1x1+w2x2+b就是一个滤波器。多个滤波器叠加就是卷积层。使用不同的滤波器进行图像处理，则可以得到不同的颜色深浅、轮廓数据等输出数据。

*激励层与池化层

实际梯度下降中，sigmoid容易饱和、造成终止梯度传递，且没有0中心化。

激活函数：ReLU收敛快，作为激励层

池化层是取小块区域的平均或者最大，来缩小数据（下图取最大）

二、课程内容

主要使用的包：torch.nn 构建子模块的包都在其中，以来auto grad自动求导

1、典型流程：

定义拥有可学习参数的神经网络【梯度下降与反向传输依赖于可学习参数】
遍历训练数据
处理输入数据使其流经神经网络
计算损失值
将网络参数的梯度进行反向传播
以一定的规则更新网络的权重、

*Conv2d函数

其中比较重要的是Conv2d函数，用来实现2d卷积操作，其输入参数如下：

in_channels —— 输入的channels数
out_channels —— 输出的channels数
kernel_size ——卷积核的尺寸（图像处理时给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核）
stride —— 步长，用来控制卷积核移动间隔
padding ——输入边沿扩边操作
padding_mode ——扩边的方式
bias ——是否使用偏置(即out = wx+b中的b)
dilation —— 取数的间隔，=2则表示隔一个格取数

Conv2d函数要求批次样本输入，不接受单一样本，要求4DTensor，形状为（nsamples,nchannels,height,width)。单一样本需要扩充，设置nsamples为1

2、代码介绍


import torch 
import torch.nn as nn
import torch.nn.functional as F
 
#定义一个简单的网络类（一个初始化函数+一个前向包裹函数+维度扁平化）
class Net(nn.Module):#所有的类的定义都继承nn.Module
#一共定义两个卷积层
  def__init__(self):
    super(Net,self).__init__()#首先定义初始化函数
    #第一层卷积网络，输入维度1，输出维度6，卷积核3*3
    self.conv1=nn.Conv2d(1,6,3)
    #第二层卷积网络，输入维度6，输出维度16，卷积核3*3（2的输入就是1的输出）
    self.conv2=nn.Conv2d(6,16,3)
    #定义三层全连接层
    self.fc1=nn.Linear(16*6*6,120)#未来输入的图片是32*32，需要推导
    self.fc2=nn.Linear(120,84)
    self.fc3=nn.Linear(84,10)
 
  #前向传播
  def forward(self,x):
    #在（2，2）池化窗口下执行最大池化操作
    #在第一个卷积层下relu且2*2池化
    x=F.max_pool2d(F.relu(self.conv1(x)),(2,2))
    #在第二个卷积层下relu
    x=F.max_pool2d(F.relu(self.conv2(x)),2)
    x=x.view(-1,self.num_flat_features(x))#减少了一个张量的维度
    #num_flat_features表示卷积后的张量x计算size，见下
    #在一二全连接层中relu，并在第三层输出
    x=F.relu(self.fc1(x))
    x=F.relu(self.fc2(x))
    x=self.fc3(x)
    return x
  
  def num_flat_features(self,x)
    #计算size，第零个维度上的batch_size（一次训练所抓取的数据样本数量）不计算
    size=x.size()[1:]#取后两位
    num_features=1
    for s in size:
      num_features*=s
    return num_features
 
net=Net()#实例化
print(net)

3、损失函数nn.MSELoss等


output=net(input)
#模拟十个标签
target=torch.randn(10)
#变成二维张量
target=target.view(1,-1)
#计算均方差损失模拟差距
criterion=nn.MSELoss()
#预测值和真实值之间的差距
loss=criterion(output,target)
print(loss)

4、反向传播执行：

*反向传播顺序：

*代码实现：loss.backward()


#注意在反向传播之前需要将梯度首先清零
net.zero_grad()
#先打印第一个卷积层偏置清零前的数据
print("conv1.bias.grad before backward")
print(net.conv1.bias.grad)
#反向传播（就是这一句）
loss.backward()
print("conv1.bias.grad after backward")
print(net.conv1.bias.grad)

5、更新网络参数（SGD）

随机梯度下降SGD（weight=weight-learning_rate*gradient）

*传统python代码实现


learning_rate=0.01#超参数
for f in net.parameters():#遍历所有参数
  f.data.sub_(f.grad.data*learning_rate)#就地减法替代

*pytorch实现


import torch.optim as optim
#有一个包提供常见的优化算法SGD、Adam等
 
#创建优化器优化的对象，就是网络中所有可训练参数net.parameters()
#lr设置初始学习率
optimizer=optim.SGD(net.parameters(),lr=0.01)
 
#注意三步走：梯度清零zero_grad()，反向传播backward()，参数更新step()
 
#优化器首先清零
optimizer.zero_grad()
#输入
output=net(input)
loss=criteron(output,target)
#执行反向传播
loss.backward()
#进行参数更新！！！
#optimizer.step()

*小结

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/356131