当前位置:   article > 正文

【深度学习】基于PyTorch架构神经网络学习总结(基础概念&基本网络搭建)_pytorch神经网络架构

pytorch神经网络架构

神经网络整体架构

类似于人体的神经元

  • 神经网络工作原来为层次结构,一层一层的变换数据。如上述示例有4层,1层输入层、2层隐藏层、1层输出层
  • 神经元:数据的量或矩阵的大小,如上述示例中输入层中有三个神经元代表输入数据有3个特征值,输出层有1个神经元表明得到一个结果,若对于分类结果输出层一般有多个神经元
  • 全连接:每一个神经元都与上一层中所有的神经元有关,权重参数矩阵
  • 非线性:使用非线性函数进行数据映射,如max函数等

神经网络的强大之处即使用更多的参数来拟合复杂的数据

nn.Module的使用

利用PyTorch架构使用神经网络模型时,一般是利用torch.nn函数

自定义神经网络框架 | 官方示例:

  1. import torch.nn as nn
  2. import torch.nn.functional as F
  3. class Model(nn.Module):
  4. def __init__(self):
  5. super().__init__()
  6. self.conv1 = nn.Conv2d(1, 20, 5)
  7. self.conv2 = nn.Conv2d(20, 20, 5)
  8. def forward(self, x):
  9. x = F.relu(self.conv1(x))
  10. return F.relu(self.conv2(x))

对于forward函数相对于是用来说明神经网络中的处理过程,如进行卷积运算的次数与类型等,也可以进行简单的数据处理,如下:

  1. import torch
  2. from torch import nn
  3. '''自定义神经网络'''
  4. class NN_Test1(nn.Module):
  5. def __init__(self):
  6. super().__init__()
  7. def forward(self,input):
  8. output=input+1
  9. return output
  10. nn_test1=NN_Test1()#实例化类 获得一个对象
  11. x=torch.tensor(1.0)
  12. output=nn_test1(x)
  13. print(output)

卷积层(convolution)

  • stride参数用于设置卷积核在图像中的运行步数,如果为单个整数则说明横向纵向都是一样的,也可以设置为元组,(H,W)(横向、纵向)默认为1

  • padding:进行填充

使用示例:

  1. import torch
  2. import torch.nn.functional as F
  3. input=torch.tensor([[1,2,0,3,1],
  4. [0,1,2,3,1],
  5. [1,2,1,0,0],
  6. [5,2,3,1,1],
  7. [2,1,0,1,1]])##输入自定义的二维矩阵
  8. kernel=torch.tensor([[1,2,1],
  9. [0,1,0],
  10. [2,1,0]])#卷积核
  11. input=torch.reshape(input,(1,1,5,5))
  12. ##由于输入的格式为(batchsize,通道数,行数,列数)
  13. kernel=torch.reshape(kernel,(1,1,3,3))
  14. output=F.conv2d(input,kernel,stride=1)
  15. print(output)
  16. output2=F.conv2d(input,kernel,stride=2)
  17. print(output2)

输出效果:

  • dilation:设置卷积核的间隔,一般设置为1,在空洞卷积处会进行设置

  • bias:是否加以常数偏置 一般设置为true

  • kernel-size:在卷积过程中会不断的进行调整以寻找最佳

  • 当out-channels与input-channels不同时,会将卷积核复制(可能有所变化)在进行运行将此次结果做出输出的一个通道

 当论文中未给padding和stride参数的时候则需要根据以下的公式进行计算得到参数的值

 示意图如下:

最大池化层(Pooling layers)

对应于pytorch中的torch.nn的Maxpooling2d         下采样

stride参数的默认值与卷积层的默认值不同,stride值在池化层中与卷积核的大小一致,即卷积核移动的大小与卷积核的大小一致;

dilation:空洞卷积,dilation设置空洞的大小,一般情况下不进行设置;

ceil_mode:为True时使用ceil模式,反之使用floor模式。这两种模式的示意图如下,即为ceil模式时进行向上取值,为floor时向下取值;

对于卷积核移动时会出现边界处卷积核内有不存在的值,当ceil_model为True时则该处得到的值保存,否则不保存。

为什么要进行最大池化??/最大池化的目的?

保留输入的特征同时将数据量减少

非线性激活

以ReLU为例

 当inplace为true时input的值将直接进行替换;为false时则原值不改,有一个新值获取结果值;</

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/721628
推荐阅读
相关标签
  

闽ICP备14008679号