大语言模型(LLM)发展历程及模型相关信息汇总（2023-07-12更新）_大语言模型发展历程

其中具有代表性的节点作品：

-结合对齐和翻译的神经网络机器翻译模型

论文题目：Neural Machine Translation by Jointly Learning to Align and Translate (2014)

论文解读：论文笔记《Neural Machine Translation by Jointly Learning to Align and Translate》

这篇文章引入了一种注意力机制（attention mechanism），用于提升递归神经网络（RNN）的长序列建模能力。这使得 RNN 能够更准确地翻译更长的句子——这也是后来开发出原始 Transformer 模型的动机。

Transformer：注意力机制

论文题目：Attention Is All You Need (2017)

论文解读：详解Transformer （Attention Is All You Need）

这篇论文介绍了原始 Transformer 模型的结构。该模型由编码器和解码器两部分组成，这两个部分在后续模型中分离成两个独立的模块。此外，该论文还引入了缩放点积注意力机制（Scaled Dot Product Attention Mechanism）、多头注意力机制（Multi-head Attention Blocks）和位置编码（Positional Input Encoding）等概念，这些概念仍然是现代 Transformer 系列模型的基础。

BERT: 语言理解的深度双向 Transformer 预训练

论文题目：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018)

论文解读：[详解] 一文读懂 BERT 模型

在原始的 Transformer 模型之后，大语言模型研究开始向两个方向分化：基于编码器结构的 Transformer 模型用于预测建模任务，例如文本分类；而基于解码器结构的 Transformer 模型用于生成建模任务，例如翻译、摘要和其他形式的文本内容生成。

GPT1:通过生成预训练改进语言理解

论文题目：Improving Language Understanding by Generative Pre-Training (2018)

论文解读：ChatGPT1论文解读《Improving Language Understanding by Generative Pre-Training》（2018）

在预训练阶段增加Transformer中间层可以显著提升效果；整个模型在12个数据集中的9个取得了更好的效果，说明该模型架构设计很不错，值得继续深入研究；辅助目标学习对于数据量越大的场景，可以越提升模型 的泛化能力。

GPT2:

论文题目：Language Models are Unsupervised Multitask Learners（2019）

GPT-2模型依旧使用Transformer模型的decoder，但相比于GPT-1，数据和模型参数变得更大，大约是之前的10倍，主打zero-shot任务。

GPT3:

论文题目：Language Models are Few-Shot Learners（2020）

论文解读：GPT-3阅读笔记：Language Models are Few-Shot Learners

GPT-3不再追求极致的zero-shot学习，即不给你任何样例去学习，而是利用少量样本去学习。因为人类也不是不看任何样例学习的，而是通过少量样例就能有效地举一反三。
由于GPT-3庞大的体量，在下游任务进行fine-tune的成本会很大。因此GPT-3作用到下游子任务时，不进行任何的梯度更新或fine-tune。

GPT4:生成式预训练变换模型

论文题目：GPT-4 Technical Report（2023）

论文解读：GPT-4大模型硬核解读，看完成半个专家

—论文解读：GPT系列论文阅读笔记

整理数据来源于网上公开资源，如有不对之处请指正，谢谢。

参考：

1.关于 ChatGPT 必看的 10 篇论文

2.理解大语言模型–10篇论文的简明清单

3.GPT-4论文精读【论文精读·53】

4 .通向AGI之路：大型语言模型（LLM）技术精要

5.万字长文：LLM - 大语言模型发展简史