当前位置: article > 正文

论文阅读 BERT GPT - transformer在NLP领域的延伸

作者：代码探险家 | 2024-08-01 21:47:57

踩

不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展

双向编码器 加上mask做完形填空超大模型无监督预训练需要整个模型作为pretrain weight到下游任务做fintune

自回归解码器 无需训练只需Prompt

在这里插入图片描述

BERT需要全部参数进行训练
GPT不需要训练即可完成下游任务
在这里插入图片描述

BERT使用双向的编码器
在这里插入图片描述

GPT使用自回归的解码器
在这里插入图片描述

总结个毛

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/代码探险家/article/detail/916067