语义分割蒸馏1：基于注意力引导的特征蒸馏方法(Attn)

与现有的常用的从教师向学生提取知识的复杂方法相比，所¬提出的方法展示了一种简单而强大的方法的功效，该方法可以利用精细的特征图来转移注意力。所提出的方法已被证明在提取丰富信息方面是有效的，在作为密集预测任务的语义分割方面优于现有方法。所提出的注意力引导特征提取（AttnFD）方法采用卷积块注意力模块（CBAM），该模块通过考虑特定通道和空间信息内容来细化特征图。通过仅使用教师和学生的精细特征图之间的均方误差（MSE）损失函数，AttnFD在语义分割方面表现出色，在PascalVoc 2012和Cityscapes数据集上实现了平均并集交集（mIoU）方面的实现了SOTA性能。

1 Introduction

语义分割是计算机视觉中一项非常重要且具有挑战性的任务。它已成为各种应用中不可或缺的组成部分；如自动驾驶、视频监控和场景解析。它的目标是通过为图像中的每个像素分配特定的类标签来执行密集预测。以完全卷积网络（FCN）[27]为首，通过使用深度神经网络，语义分割取得了重大进展。其他方法通过建立在FCN的基础上不断提高了分割精度。他们通过采用策略来实现这一点，例如设计更深层次的架构来增加FCN[49]的容量，结合更强的主干[14]和分层图像上下文处理[9]。增加复杂度可以有效地提高语义分割的准确性，但在资源有限的环境中ÿ