特征融合篇 | YOLOv8 应用轻量级通用上采样算子CARAFE | 《特征的内容感知重组》_yolov8轻量化主干

特征上采样是现代卷积神经网络架构中的关键操作，例如特征金字塔。其设计对于密集预测任务，如目标检测和语义/实例分割至关重要。在本研究中，我们提出了一种称为内容感知特征重组（CARAFE）的通用、轻量级且高效的操作符，以实现这一目标。CARAFE具有以下几个优点：（1）大的视野。与之前的方法（例如双线性插值）只利用亚像素邻域不同，CARAFE可以在大的感受野内聚合上下文信息。（2）内容感知处理。CARAFE通过生成实时自适应的卷积核，实现了实例特定的内容感知处理，而不是对所有样本使用固定的卷积核（例如反卷积）。（3）轻量且计算速度快。CARAFE引入了很少的计算开销，并且可以轻松地集成到现代网络架构中。我们在目标检测、实例/语义分割和修复等标准基准上进行了全面评估。CARAFE在所有任务中都显示出一致且显著的性能提升（分别为1.2% AP、1.3% AP、1.8% mIoU和1.1dB），计算开销几乎可以忽略不计。它具有作为未来研究的强大构建块的潜力。

论文地址：https://arxiv.org/abs/1905.02188
代码地址：https: //github.com/open-mmlab/mmdetection