在预训练语言模型主流架构_主流的结构因果解码器、前缀解码器和编码器解码器

作者：寸_铁 | 2024-07-02 16:47:51

踩

主流的结构因果解码器、前缀解码器和编码器解码器

文章目录

在预训练语言模型时代，自然语言处理领域广泛采用了预训练 + 微调的范式，并诞生了以 BERT 为代表的编码器（Encoder-only）架构、以 GPT 为代表的解码器（Decoder-only）架构和以 T5 为代表的编码器-解码器（Encoder-decoder）架构的大规模预训练语言模型。随着 GPT 系列模型的成功发展，当前自然语言处理领域走向了生成式大语言模型的道路，解码器架构已经成为了目前大语言模型的主流架构。进一步，解码器架构还可以细分为三个变种架构，包括因果解码器（Causal Decoder）架构和前缀解码器（Prefix Decoder）架构。值得注意的是，学术界所提到解码器架构时，通常指的都是因果解码器架构。下图针对这三种架构进行了对比。

图片名称 — 三种主流架构的注意力模式比较示意图（蓝色、绿色、黄色和灰色的圆角矩形分别表示前缀词元之间的注意力、前缀词元和目标词元之间的注意力、目标词元之间的注意力以及掩码注意力）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/780262

在预训练语言模型主流架构_主流的结构 因果解码器、前缀解码器和编码器解码器

文章目录

在预训练语言模型主流架构_主流的结构因果解码器、前缀解码器和编码器解码器