基于DAMO-YOLO的RepGFPN多尺度特征融合的YOLOv5、YOLOv7、Faster RCNN、FCOS、CenterNet等目标检测器改进_yolo中多尺度特征融合都有哪些

DAMO-YOLO的RepGFPN多尺度特征融合颈部网络与目标检测器的融合策略

1、DAMO-YOLO 点击此处直达论文地址

DAMO-YOLO是一个兼顾速度与精度的目标检测框架，其效果超越了目前的一众YOLO系列方法，在实现SOTA的同时，保持了很高的推理速度。DAMO-YOLO是在YOLO框架基础上引入了一系列新技术，对整个检测框架进行了大幅的修改。具体包括：基于NAS搜索的新检测backbone结构，更深的neck结构，精简的head结构，以及引入蒸馏技术实现效果的进一步提升。模型之外，DAMO-YOLO还提供高效的训练策略以及便捷易用的部署工具，帮助您快速解决工业落地中的实际问题！

2、RepGFPN

• 在FPN(Feature Pyramid Network)中，多尺度特征融合旨在对从backbone不同stage输出的特征进行聚合，从而增强输出特征的表达能力，提升模型性能。传统的FPN引入top-to-down的路径来融合多尺度特征。考虑到单向信息流的限制，PAFPN增加了一个额外的自底向上的路径聚合网络，然而增加了计算成本。为了降低计算量，YOLO系列检测网络选择带有CSPNet的PAFPN来融合来自backbone输出的多尺度特征。
• 我们在ICLR2022的工作GiraffeDet中提出了新颖的Light-Backbone Heavy-Neck结构并达到了SOTA性能，原因在于给出的neck结构GFPN(Generalized FPN)能够充分交换高级语义信息和低级空间信息。在GFPN中，多尺度特征融合发生在前一层和当前层的不同尺度特征中，此外，log_2(n)的跨层连接提供了更有效的信息传输，可以扩展到更深的网络。
• 因此，作者尝试将GFPN引入到DAMO-YOLO中，相比于PANet,我们取得了更高的精度，这是在预期之中的。然而与之同时，GFPN带来了模型推理时延的增加，使得精度/时延的权衡并未取得较大的优势。通过对原始GFPN结构的分析，我们将原因归结为以下几个方面：（1）不同尺度特征共享相同通道数，导致难以给出一个最优通道数来保证高层低分辨率特征和低层高分辨率特征具有同样丰富的表达能力；（2）GFPN采用Queen-Fusion强化特征之间的融合，而Queen-Fusion包含大量的上采样和下采样操作来实现不同尺度特征的融合，极大影响推理速度；（3）GFPN中使用的3x3卷积进行跨尺度特征融合的效率不高，不能满足轻量级计算量的需求，需要进一步优化。

3、RepGFPN颈部网络与目标检测器的融合

上图中的Giraffe Neck代表了RepGFPN多尺度颈部网络，基于不同的主干网络，检测头，我们可以很轻松的融入RepGFPN结构，其中主干网络选择可以是

• ConvNets类： CSPDarknet53,ConvNext, RepGhost, RepVGG, MobileNetv3，MobileOne, RegNet
• Transformers类： Swin Transformer, MobileVit, EdgeNext,MobileFormer, Davit

这些主干网络可以集成在Faster RCNN、YOLOX、YOLOv6、YOLOv7、YOLOv5、FCOS、CenterNet中，
在检测头Head中可以集成不同的组件，如上图所示：无锚框、解耦头，隐式知识学习、边界框回归计算等等

4、以YOLOv5s-6.2版本为例进行RepGFPN的替换

上图展示了以yolov5s为基本框架RepGFPN的替换结果，并进行了结构重参数化后的GFLOPs的比较，结果显示RepGFPN的GFLOPs比原来的YOLOv5的PAN结构会大一些，可能在准确率上会有不错的表现！！！

5、此思想可以用在不同的目标检测器上，例如yolov3～yolov7，centernet，yolox，yolor，fasterrcnn等，本人已将yolov5-6.2版本打包好，需要改进其他网络寻求帮助可私信，其他目标检测模型创新可浏览博主其他帖子！！！这里只是提供一个思路，不一定在所有数据集上有效。