课程九学习笔记: 自监督ViT算法：BeiT和MAE

作者：小蓝xlanll | 2024-05-08 05:01:05

踩

beit和mae

自监督+ Transformer

1. SSL在NLP中的应用：

Self-Supervised Learning (SSL)：通过自己“监督”自己的方式学习通用特征表达，用来作为下游任务的预训练或者backbone。（自监督学习SSL：假装看不到输入的某一部分，然后学习怎么去预测它！）
Bidirectional Encoder Representations from Transformers ：(BERT)
（1）Transformer的Encoder
（2）Self-Supervised Learning ( SSL )

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/552933