YoloV8改进策略：蒸馏改进|MGDLoss|使用蒸馏模型实现YoloV8无损涨点|特征蒸馏

摘要

在本文中，我们成功应用蒸馏策略以实现YoloV8小模型的无损性能提升。我们采用了MGDLoss作为蒸馏方法的核心，通过对比在线和离线两种蒸馏方式，我们发现离线蒸馏在效果上更为出色。因此，为了方便广大读者和研究者应用，本文所描述的蒸馏方法仅保留了离线蒸馏方案。此外，我们还提供了相关论文的译文，旨在帮助大家更深入地理解蒸馏方法的原理和应用。

论文翻译：《掩码生成蒸馏》

https://arxiv.org/pdf/2205.01529
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的性能。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表示能力。从这一观点出发，我们提出了掩码生成蒸馏（Masked Generative Distillation，MGD），该方法很简单：我们随机掩码学生的特征像素，并通过一个简单的块强迫其生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。我们在不同模型和广泛的数据集上进行了实验，结果表明所有学生都取得了显著的改进。特别地，我们将ResNet-18在ImageNet上的top-1准确率从69.90%提高到71.69%，将基于ResNet-50骨干的RetinaNet的Boundingbox mAP从37.4提高到41.0，将基于ResNet-50的SOLO的Mask mAP从33.1提高到36.2，以及将基于ResNet-18的DeepLabV3的mIoU从73.20提高到76.02。我们的代码已公开在https://github.com/yzd-v/MGD。

关键词：知识蒸馏，图像分类，目标检测，语义分割&#x