DeiT详解：知识蒸馏的Transformer_deit模型

作者：不正经 | 2024-06-14 19:32:28

踩

deit模型

DeiT详解：知识蒸馏的Transformer

0. 引言
1. ViT
2. DeiT
3. 总结

0. 引言

针对 ViT 需求数据量大、运算速度慢的问题，Facebook 与索邦大学 Matthieu Cord 教授合作发表 Training data-efficient image transformers（DeiT） & distillation through attention。DeiT 将知识蒸馏的策略与 ViT 相结合，性能与最先进的卷积神经网络（CNN）可以抗衡。

论文名称：Training data-efficient image transformers & distillation through attention
论文地址：https://arxiv.org/abs/2012.12877
代码地址：https://github.com/facebookresearch/deit

1. ViT

提到 DeiT ，就不提不提及 ViT 。这里对 ViT 进行简要介绍来帮助大家初步了解 ViT。
ViT 模型将 Transformer 模型应用在了 CV 领域，并取得了突出的成果。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/719338