Yolov8大幅涨点！Yolov8+GEM注意力机制_yolov8注意力机制热力图

yolov8s+Gem全局注意力，助你大幅涨点

一、介绍

YOLOv8是一个高性能的计算机视觉模型，用于物体检测、分割、姿态估计等任务。每个YOLOv8模型的变体都针对其相应的任务进行了优化，确保了高性能和准确性。这些模型与不同的操作模式兼容，包括推断、验证、训练和导出，便于在部署和开发的不同阶段使用​​​​。

以YOLOv8s为例，这个模型版本在COCO数据集上训练的平均精度（mAP值）为44.9，拥有大约2860万的参数和大约286亿的浮点运算​​。YOLOv8模型系列的这种多功能性和健壮性使它们适用于计算机视觉中的多种应用。

然而，每种模型都有其局限性。YOLOv8s可能存在的弊端包括处理高分辨率图像时的速度变慢，以及可能在非常复杂或拥挤的场景中检测性能下降。此外，由于它使用的是基于锚点的检测方法，因此可能对一些不常见的物体形状或不规则大小的物体检测不足。

相较原版YOLOv8s模型，我们添加了全局注意力机制，即可以通过保留空间和通道信息之间的关联来提高模型的性能。将输入特征映射通过通道注意力子模块和空间注意力子模块形成GAM的输出特征

二、实现过程

图一 GAM输出特征实现过程

1. 通道注意力（channel）
   第一步处理将输入通道数从 in_channels 减少到输出的int(in_channels / rate)。这一步降低了特征的维度，减少了后续计算的复杂性。
   ReLU 激活：ReLU激活函数引入非线性，有助于模型学习更复杂的特征表示。
   再升维操作：第二个 nn.Linear 层将通道数从 int(in_channels / rate) 恢复到 in_channels。这一步恢复了特征的原始维度。
2. 空间注意力 :
   首先对第一层卷积做降维处理，减少计算量，同时对输出进行批归一化，第二层卷积将特征维度恢复到原始输入特征的维度，对第二层卷积的输出再次进行批归一化，进一步稳定网络训练。
3. 特征加权应用
   在通道注意力和空间注意力计算完后，计算出的加权结果被应用于原始输入特征 x 。通过这种方式，原始特征被重新加权，使得网络的焦点更集中于那些被认为更重要的通道和空间区域。

三、代码实现

（参考博客：http://t.csdnimg.cn/uGMff）

1.修改ultralytics-main\ultralytics\nn\modules\conv.py，添加代码

import torch
import torch.nn as nn

class GAM_Attention(nn.Module):
    def __init__(self, in_channels, c2, rate=4):
        super(GAM_Attention, self).__init__()

        self.channel_attention = nn.Sequential(
            nn.Linear(in_channels, int(in_channels / rate)),
            nn.ReLU(inplace=True),
            nn.Linear(int(in_channels / rate), in_channels)
        )

        self.spatial_attention = nn.Sequential(
            nn.Conv2d(in_channels, int(in_channels / rate), kernel_size=7, padding=3),
            nn.BatchNorm2d(int(in_channels / rate)),
            nn.ReLU(inplace=True),
            nn.Conv2d(int(in_channels / rate), in_channels, kernel_size=7, padding=3),
            nn.BatchNorm2d(in_channels)
        )
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

2.注册及引用GAM注意力代码,修改ultralytics-main\ultralytics\nn\modules\__init__.py

ultralytics-main\ultralytics\nn\tasks.py

tasks里写入调用方式
在700行的位置左右，注意对照图片

        elif m in {GAM_Attention}:
            c1, c2 = ch[f], args[0]
            if c2 != nc:  # if not output
                c2 = make_divisible(min(c2, max_channels) * width, 8)
            args = [c1, c2, *args[1:]]
1
2
3
4
5

修改yaml文件

yolov8s-Backbone-ATT.yaml

# Ultralytics YOLO 
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/286134