devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

带有SE注意力机制的ResNet残差网络构建_resnet+se注意力机制

作者：IT小白 | 2024-04-05 02:25:51

赞

踩

resnet+se注意力机制

残差网络ResNet和SE注意力机制自从被提出以后就得到了广泛的应用，在模型搭建过程中，有很多将两者进行结合使用的方法被提出，以是的模型具有更好的性能。

下面是将SE注意力机制应用在不同的ResNet残差网络中的方法。

 SE注意力机制模型图如下：

 基本的残差单元：

 网络输入x，希望输出H(x)。加入残差连接之后，有H(x)=F(x)+x，网络就只需要学习输出一个残差F(x)=H(x)-x，学习残差F(x)=H(x)-x会比直接学习原始特征H(x)简单的多。

不同的ResNet基本组成：

1.SE注意力机制+ResNet18

  1. import torch.nn as nn
  2. import math
  3. import torch.utils.model_zoo as model_zoo
  4.  
  5.  
  6. __all__ = ['SENet', 'se_resnet_18', 'se_resnet_34', 'se_resnet_50', 'se_resnet_101',
  7.            'se_resnet_152']
  8.  
  9. def conv3x3(in_planes, out_planes, stride=1):
  10.     # 定义3x3卷积，并且填充数为1
  11.     """3x3 convolution with padding"""
  12.     return nn.Conv2d(in_planes, out_planes, kernel_size=3, stride=stride,
  13.                      padding=1, bias=False)
  14.  
  15. class BasicBlock(nn.Module):
  16.     expansion = 1  # 扩展倍数的属性
  17.     # 用于在 ResNet 中确定每个 BasicBlock 层的输入通道和输出通道之间的倍数关系。通过将输入通道数乘以 expansion，可以得到输出通道数
  18.  
  19.     def __init__(self, inplanes, planes, stride=1, downsample=None):
  20.         super(BasicBlock, self).__init__()
  21.         self.conv1 = conv3x3(inplanes, planes, stride)  # 3x3卷积
  22.         self.bn1 = nn.BatchNorm2d(planes)  # 归一化
  23.         self.relu = nn.ReLU(inplace=True)
  24.         self.conv2 = conv3x3(planes, planes)  # 3x3卷积
  25.         self.bn2 = nn.BatchNorm2d(planes)
  26.         self.downsample = downsample  # 传入的下采样方法保存为一个属性
  27.         self.stride = stride  # 步长
  28.  
  29.         if planes == 64:  # 输出特征图的通道数
  30.             self.globalAvgPool = nn.AvgPool2d(56, stride=1)  # 全局平均池化
  31.         elif planes == 128:
  32.             self.globalAvgPool = nn.AvgPool2d(28, stride=1)
  33.         elif planes == 256:
  34.             self.globalAvgPool = nn.AvgPool2d(14, stride=1)
  35.         elif planes == 512:
  36.             self.globalAvgPool = nn.AvgPool2d(7, stride=1)
  37.         self.fc1 = nn.Linear(in_features=planes, out_features=round(planes / 16))  # 全连接
  38.         self.fc2 = nn.Linear(in_features=round(planes / 16), out_features=planes)  # 全连接
  39.         self.sigmoid = nn.Sigmoid()
  40.  
  41.     def forward(self, x):
  42.         residual = x
  43.  
  44.         out = self.conv1(x)  # 3x3conv，s=1
  45.         out = self.bn1(out)
  46.         out = self.relu(out)
  47.  
  48.         out = self.conv2(out)  # 3x3conv，s=0
  49.         out = self.bn2(out)
  50.  
  51.         if self.downsample is not None:
  52.             residual = self.downsample(x)
  53.  
  54.         original_out = out
  55.         out = self.globalAvgPool(out)  # # 全局平均池化
  56.         out = out.view(out.size(0), -1)
  57.         # out.size(0) 表示第一个维度的大小保持不变，而 -1 表示在保持其他维度的前提下，自动调整第二个维度的大小
  58.         out = self.fc1(out)
  59.         out = self.relu(out)
  60.         out = self.fc2(out)
  61.         out = self.sigmoid(out)
  62.         out = out.view(out.size(0), out.size(1), 1, 1)  # 新张量的形状为 (out.size(0), out.size(1), 1, 1)
  63.         out = out * original_out
  64.  
  65.         out += residual  # 残差连接
  66.         out = self.relu(out)
  67.  
  68.         return out
  69.  
  70.  
  71. class Bottleneck(nn.Module):
  72.     expansion = 4  # 扩展倍数的属性
  73.     # 用于在 ResNet 中确定每个 BasicBlock 层的输入通道和输出通道之间的倍数关系。通过将输入通道数乘以 expansion，可以得到输出通道数
  74.  
  75.     def __init__(self, inplanes, planes, stride=1, downsample=None):
  76.         super(Bottleneck, self).__init__()
  77.         self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1, bias=False)  # 1x1conv
  78.         self.bn1 = nn.BatchNorm2d(planes)
  79.         self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=stride,  # 3x3conv
  80.                                padding=1, bias=False)
  81.         self.bn2 = nn.BatchNorm2d(planes)
  82.         self.conv3 = nn.Conv2d(planes, planes * 4, kernel_size=1, bias=False)  # 1x1conv,输出通道是输入通道的4倍
  83.         self.bn3 = nn.BatchNorm2d(planes * 4)
  84.         self.relu = nn.ReLU(inplace=True)
  85.         if planes == 64:
  86.             self.globalAvgPool = nn.AvgPool2d(56, stride=1)  # 平均池化
  87.         elif planes == 128:
  88.             self.globalAvgPool = nn.AvgPool2d(28, stride=1)
  89.         elif planes == 256:
  90.             self.globalAvgPool = nn.AvgPool2d(14, stride=1)
  91.         elif planes == 512:
  92.             self.globalAvgPool = nn.AvgPool2d(7, stride=1)
  93.         self.fc1 = nn.Linear(in_features=planes * 4, out_features=round(planes / 4))  # 除 4 取整
  94.         self.fc2 = nn.Linear(in_features=round(planes / 4), out_features=planes * 4)
  95.         self.sigmoid = nn.Sigmoid()
  96.         self.downsample = downsample
  97.         self.stride = stride
  98.  
  99.     def forward(self, x):
  100.         residual = x
  101.  
  102.         out = self.conv1(x)
  103.         out = self.bn1(out)
  104.         out = self.relu(out)
  105.  
  106.         out = self.conv2(out)
  107.         out = self.bn2(out)
  108.         out = self.relu(out)
  109.  
  110.         out = self.conv3(out)
  111.         out = self.bn3(out)
  112.  
  113.         if self.downsample is not None:
  114.             residual = self.downsample(x)
  115.  
  116.         original_out = out
  117.         out = self.globalAvgPool(out)
  118.         out = out.view(out.size(0), -1)
  119.         out = self.fc1(out)
  120.         out = self.relu(out)
  121.         out = self.fc2(out)
  122.         out = self.sigmoid(out)
  123.         out = out.view(out.size(0),out.size(1),1,1)
  124.         out = out * original_out
  125.  
  126.         out += residual
  127.         out = self.relu(out)
  128.  
  129.         return out
  130.  
  131.  
  132. class SENet(nn.Module):
  133.     # SE注意力机制
  134.  
  135.     def __init__(self, block, layers, num_classes=2):
  136.         self.inplanes = 64
  137.         super(SENet, self).__init__()
  138.         self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3,
  139.                                bias=False)
  140.         self.bn1 = nn.BatchNorm2d(64)
  141.         self.relu = nn.ReLU(inplace=True)
  142.         self.maxpool = nn.MaxPool2d(kernel_size=3, stride=2, padding=1)  # 最大池化
  143.         self.layer1 = self._make_layer(block, 64, layers[0])
  144.         self.layer2 = self._make_layer(block, 128, layers[1], stride=2)
  145.         self.layer3 = self._make_layer(block, 256, layers[2], stride=2)
  146.         self.layer4 = self._make_layer(block, 512, layers[3], stride=2)
  147.         # block：指定使用的基本块类型，可以是残差块或其他类型的块
  148.         # 64、128、256、512：指定每个卷积层组中的通道数（即输出特征图的通道数）
  149.         # layers[0]、layers[1]、layers[2]、layers[3]：指定每个卷积层组中的基本块数量
  150.         # stride=2：指定每个卷积层组中的卷积层的步长（stride），默认为 2
  151.         self.avgpool = nn.AvgPool2d(7, stride=1)  # 平均池化
  152.         self.fc = nn.Linear(512 * block.expansion, num_classes)  # 全连接
  153.  
  154.         for m in self.modules():  # 遍历模型的所有子模块
  155.             if isinstance(m, nn.Conv2d):  # 如果m模块时卷积模块
  156.                 n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels  # 计算卷积核的参数个数 n
  157.                 m.weight.data.normal_(0, math.sqrt(2. / n))
  158.                 # 对卷积核的权重进行初始化。这里使用了正态分布来初始化权重，均值为 0，标准差为 math.sqrt(2. / n)。这种初始化方法可以帮助模型更好地收敛
  159.             elif isinstance(m, nn.BatchNorm2d):  # 如果m模块是归一化模块
  160.                 m.weight.data.fill_(1)  # 归一化层的权重进行初始化，将所有权重设置为 1
  161.                 m.bias.data.zero_()  # 归一化层的偏移量进行初始化，将所有偏移量设置为 0
  162.  
  163.     def _make_layer(self, block, planes, blocks, stride=1):  # 用于创建一个层
  164.         # block是一个模型中的基本单元，planes是层中的通道数，blocks是层中重复的次数，stride是步长，默认值为1
  165.         downsample = None  # 下采样层的目的是降低输出特征图的尺寸和增加通道数，以便将输入的特征图与输出的特征图进行匹配
  166.         if stride != 1 or self.inplanes != planes * block.expansion:
  167.             downsample = nn.Sequential(
  168.                 nn.Conv2d(self.inplanes, planes * block.expansion,
  169.                           kernel_size=1, stride=stride, bias=False),  # 下采样快
  170.                 nn.BatchNorm2d(planes * block.expansion),  # 归一化
  171.             )
  172.  
  173.         layers = []
  174.         layers.append(block(self.inplanes, planes, stride, downsample))
  175.         self.inplanes = planes * block.expansion
  176.         for i in range(1, blocks):
  177.             layers.append(block(self.inplanes, planes))
  178.             # block函数的目的是创建一个新的模块，该模块由一个卷积层和一个批归一化层组成，同时也可能包含一个下采样层
  179.  
  180.         return nn.Sequential(*layers)  # 构建了一个顺序网络容器，将 layers 列表中的模块组合在一起，并将其作为方法的返回值
  181.  
  182.     def forward(self, x):
  183.         x = self.conv1(x)
  184.         x = self.bn1(x)
  185.         x = self.relu(x)
  186.         x = self.maxpool(x)
  187.  
  188.         x = self.layer1(x)
  189.         x = self.layer2(x)
  190.         x = self.layer3(x)
  191.         x = self.layer4(x)  # 特征提取和降维
  192.  
  193.         x = self.avgpool(x)  # 将特征降维为一维
  194.         x = x.view(x.size(0), -1)
  195.         x = self.fc(x)  # 全连接层进行分类
  196.         print(x.shape)
  197.  
  198.         return x
  199.  
  200.  
  201. def se_resnet_18(pretrained=False, **kwargs):
  202.     """Constructs a ResNet-18 model.
  204.     Args:
  205.         pretrained (bool): If True, returns a model pre-trained on ImageNet
  206.         pretrained 表示是否使用在 ImageNet 数据集上预训练的模型
  207.     """
  208.     # 使用了一个名为 SENet 的类来构建模型，同时也使用了 BasicBlock 类作为 ResNet 中的基本块
  209.     # [2, 2, 2, 2] 是一个列表，表示模型中每个阶段（stage）中重复 BasicBlock 的次数
  210.     model = SENet(BasicBlock, [2, 2, 2, 2], **kwargs)  # 创建含有SE注意机制的残差模块
  211.     return model
  212.  
  213.  
  214.  
  215.

2.SE注意力机制+ResNet34

只需要将SE注意力机制+ResNet18部分的代码中的def se_resnet_18部分换成如下即可：

  1. def se_resnet_34(pretrained=False, **kwargs):
  2.     """Constructs a ResNet-34 model.
  4.     Args:
  5.         pretrained (bool): If True, returns a model pre-trained on ImageNet
  6.         pretrained 表示是否使用在 ImageNet 数据集上预训练的模型
  7.     """
  8.     # 使用了一个名为 SENet 的类来构建模型，同时也使用了 BasicBlock 类作为 ResNet 中的基本块
  9.     # 模型中每个阶段重复 BasicBlock 的次数为 [3, 4, 6, 3]
  10.     model = SENet(BasicBlock, [3, 4, 6, 3], **kwargs)
  11.     return model

3.SE注意力机制+ResNet50

只需要将SE注意力机制+ResNet18部分的代码中的def se_resnet_18部分换成如下即可：

  1. def se_resnet_50(pretrained=False, **kwargs):
  2.     """Constructs a ResNet-50 model.
  4.     Args:
  5.         pretrained (bool): If True, returns a model pre-trained on ImageNet
  6.         pretrained 表示是否使用在 ImageNet 数据集上预训练的模型
  7.     """
  8.     # 使用了一个名为 SENet 的类来构建模型，同时也使用了 Bottleneck 类作为 ResNet 中的基本块
  9.     # [3, 4, 6, 3] 是一个列表，表示模型中每个阶段（stage）中重复 BasicBlock 的次数
  10.     model = SENet(Bottleneck, [3, 4, 6, 3], **kwargs)
  11.     return model

4.SE注意力机制+ResNet101

只需要将SE注意力机制+ResNet18部分的代码中的def se_resnet_18部分换成如下即可：

  1. def se_resnet_101(pretrained=False, **kwargs):
  2.     """Constructs a ResNet-101 model.
  4.     Args:
  5.         pretrained (bool): If True, returns a model pre-trained on ImageNet
  6.         pretrained 表示是否使用在 ImageNet 数据集上预训练的模型
  7.     """
  8.     # 使用了一个名为 SENet 的类来构建模型，同时也使用了 Bottleneck 类作为 ResNet 中的基本块
  9.     # [3, 4, 23, 3] 是一个列表，表示模型中每个阶段（stage）中重复 BasicBlock 的次数
  10.     model = SENet(Bottleneck, [3, 4, 23, 3], **kwargs)
  11.     return model

5.SE注意力机制+ResNet152

只需要将SE注意力机制+ResNet18部分的代码中的def se_resnet_18部分换成如下即可：

  1. def se_resnet_152(pretrained=False, **kwargs):
  2.     """Constructs a ResNet-152 model.
  4.     Args:
  5.         pretrained (bool): If True, returns a model pre-trained on ImageNet
  6.         pretrained 表示是否使用在 ImageNet 数据集上预训练的模型
  7.     """
  8.     # 使用了一个名为 SENet 的类来构建模型，同时也使用了 Bottleneck 类作为 ResNet 中的基本块
  9.     # [3, 4, 36, 3] 是一个列表，表示模型中每个阶段（stage）中重复 BasicBlock 的次数
  10.     model = SENet(Bottleneck, [3, 8, 36, 3], **kwargs)
  11.     return model

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/362711
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号