【KD】2023 ICLR The Modality Focusing Hypothesis: Towards Understanding Crossmodal Knowledge Distillat

目录

1 摘要

2 引文

3 关于跨模态KD的有效性

4 方法

4.1 模态维恩图（MVD）

4.2 模态聚焦假说（MFH）

5 实验

5.1 实验设置

5.2 合成高斯

5.3 NYU DEPTH V2

5.4 RAVDESS AND VGGSOUND

6 总结

7 论文代码地址

参考

今天介绍的是发表在ICLR 2023的一篇论文：The Modality Focusing Hypothesis: Towards Understanding Crossmodal Knowledge Distillation，作者在本文中提出了一个对跨模态知识蒸馏提出了一些分析手段和假说，对跨模态知识蒸馏提出了透彻的见解。(多模态在这里可以理解为多教师

1 摘要

        跨模态知识蒸馏knowledge distillation(KD)将传统的知识蒸馏扩展到多模态学习领域，并在各种应用中取得了巨大成功。为了实现跨模态的知识转移，采用一种模态的预训练网络作为教师，向从另一种模态学习的学生网络提供监督信号。尽管有许多以往成功的案例，但跨模态KD的作用机制仍然是一个谜。在本文中，作者对跨模态KD提出了一个透彻的理解。作者从两个案例研究开始，并证明KD并不是解决跨模态知识转移的通用方法。然后，提出了模态维恩图(MVD)来理解模态关系和模态聚焦假设(MFH)，揭示了跨模态KD效果的决定性因素。在6个多模态数据集上的实验结果帮助证明了他们的假设，并指出未来改进跨模态KD的方向。

2 引文

        知识蒸馏(KD)是将知识从一个神经网络转移