书生·浦语大模型实战营-第一课笔记

首先了解了大模型的发展历程，从GPT1到GPT4的发展历程，大模型经历自OPENAI发布GPT3.5后进入了快速发展阶段，成为了技术界高度关注的热门技术。

大模型的出现改变了以往通用人工智能的困局，使得通用人工智能在通用领域的应用变得有可能。

也了解了上海人工智能实验室在大模型方面做的一系列工作。

在开源的一系列书生浦语模型中，不论在问答、辅助代码、作图、多模态等方面都有非常强的表现。

课程解决了我的一个疑问，怎么使用大模型，给了我一个非常明确的实践路线。在实际业务中，通过微调和智能体，解决大模型的低成本落地。

从数据、预训练、微调、部署、评测和应用，书生浦语提供了丰富的工具支撑，解决了开展这些工作的基础工具。

后续工作中，我重点关注数据准备和微调，重点学习这两部分，期待在工作中真正实现大模型的落地应用。

在数据方面，Opendatalab提供了丰富的价值观对齐的数据，用起来一定非常爽，直接解决了找数据、准备数据的大难题。

微调方面，书生浦语支撑增量微调和有监督的微调，对于我来说，这两方面实施起来都困难，微调的前提是数据集的准备，即使是增量微调，也需要准备高质量的语料库。XTuner提供了丰富的功能和适配，后续认真学习。