读书笔记：《大规模语言模型：从理论到实践》第一章

1. 大规模语言模型（LLM）简介

大规模语言模型（LLM）是一类包含数十亿甚至数千亿参数的深度神经网络，它们通过自监督学习在大量无标注文本上进行预训练，以构建自然语言的概率分布模型。自2018年BERT模型的提出，LLM在自然语言处理（NLP）的多个任务中取得了显著的成果，如文本分类、问答、机器翻译等。

2. LLM的发展历程

LLM的发展可分为三个阶段：

• 基础模型阶段（2018-2021）：以BERT、GPT等模型为代表，开启了预训练语言模型时代。
• 能力探索阶段（2019-2022）：研究者探索了如In-context Learning、Instruction Tuning等方法，以提升模型在少样本学习任务中的表现。
• 突破发展阶段（2022至今）：以ChatGPT的发布为标志，展示了LLM在多种任务上的卓越性能，推动了LLM研究的热潮。

3. LLM构建流程

构建LLM主要包括以下四个阶段：

• 预训练：使用大规模文本数据训练基础语言模型。
• 有监督微调：在特定任务上使用标注数据对模型进行微调。
• 奖励建模：构建奖励模型对模型输出的质量进行评估和排序。
• 强化学习：通过与环境的交互，优化模型以生成更高质量的输出。

4. LLM的关键技术

LLM的研究和应用涉及多个关键技术，包括但不限于：

• Transformer模型：一种用于处理序列数据的神经网络结构，广泛应用于LLM中。
• 自监督学习：无需标注数据，通过预测输入数据的缺失部分来训练模型。
• 分布式训练：利用多个计算设备并行训练模型，以处理大规模数据和参数。

5. LLM的应用与挑战

LLM在多个领域展现出巨大的应用潜力，同时也面临一些挑战：

• 推理能力：尽管LLM在知识掌握和语言理解上表现出色，但其推理能力仍有待提高。
• 多模态理解：如何将LLM应用于处理和理解图像、视频等非文本数据。
• 效率优化：LLM的参数量庞大，计算成本高，需要优化以提高效率。

想要本书资源的可以扫码领取