大模型LLM架构--Decoder-Only、Encoder-Only、Encoder-Decoder_decoder only

目录

1 LLM演变进化树

2 每种架构的优缺点

2.1 Decoder-Only 架构

2.2 Encoder-Only

2.3 Encoder-Decoder

参考文献：

---

1 LLM演变进化树

• 基于 Transformer 模型以非灰色显示：
• decoder-only 模型在右边的浅蓝色分支，
• encoder-only 模型在粉色分支，
• encoder-decoder 模型在绿色分支。

模型在时间线上的位置表示它们的发布日期。开源模型由实心方块表示，而闭源模型由空心方块表示。右下角的堆积条形图显示了各公司和机构的模型数量。

2 每种架构的优缺点

2.1 Decoder-Only 架构

仅包含解码器部分，通常用于序列生成任务，如文本生成等。这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。这类结构的代表也就是我们平时非常熟悉的GPT模型的结构，所有该家族的网络结构都是基于Decoder-Only的形式来逐步演化。

2.2 Encoder-Only

仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如文本分类、情感分析等，这种架构主要用于处理输入数据，专注于理解和编码信息，而不是生成新的文本。这类代表是BERT相关的模型，例如BERT，RoBERT，ALBERT等

2.3 Encoder-Decoder

 既包含编码器也包含解码器，先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分），通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以Google训出来T5为代表相关大模型。

参考文献：

生动说明BERT，Transformer，预训练模型的含义和关系 - 掘金

大语言模型的三种主要架构 Decoder-Only、Encoder-Only、Encoder-Decoder_大语言模型和encoder和decoder-CSDN博客

原创 | 大模型扫盲系列——初识大模型-腾讯云开发者社区-腾讯云