LLM（大语言模型）和AIGC入门学习路线图

大模型是指网络规模庞大的深度学习模型，其参数量通常在千亿级别。

学习大模型需要具备计算机基础，这一点非常重要！

要系统地入门大模型，首先需要学习深度学习的基础知识，包括神经网络（NN）、卷积神经网络（CNN）和循环神经网络（RNN）等。

在学习完基础知识后，你可以借助开源算法来学习如何使用大模型进行自然语言处理任务。目前有很多大模型开源算法可供学习和使用。你可以选择一些经典的大模型算法，如BERT、GPT-2和Transformer等，通过阅读相关的论文和代码实现来深入了解它们的工作原理和应用场景。

本文旨在提供系统的学习路径和实践项目，帮助你更好地掌握大模型的使用和应用。

文章提的资源 如何获取？

扫码添加微信

学习路径

本文分为四个章节，各章节的学习目标如下。请注意本文主要是面向工程界撰写，学术部分较少。

入门篇

• 了解大语言模型的基础知识和常见术语。

• 学会使用编程语言访问 OpenAI API 等常见大语言模型接口。

提高篇

• 了解机器学习、神经网络、NLP 的基础知识。

• 了解 Transformer 以及典型 Decoder-only 语言模型的基础结构和简单原理。

• 了解大语言模型发展历史，以及业界主流模型（含开源模型）进展。

应用篇

• 可以在本地环境搭建开源模型的推理环境。Prompt 工程。

• 使用已有框架（如Langchain）或自行开发，结合大语言模型结果，开发生产应用。

深入篇（本文涉及少量资料）

• 掌握 Continue Pre-train、Fine-tuning 已有开源模型的能力。

• 掌握 Lora、QLora 等低资源高效模型训练的能力。

• 掌握大语言模型微调以及预训练数据准备的能力。

• 深入了解大模型背后的技术原理。

• 了解生产环境部署大模型的相关技术点。

读者可以根据自己需要选择对应的章节，如对大语言模型的原理不感兴趣，可只关注入门篇和应用篇。考虑到阅读背景，本文尽可能提供中文资料或有中文翻译的资料。

入门篇

在入门之前，请申请 OpenAI API，并具备良好的国际互联网访问条件。

大语言模型综述 大语言模型迄今为止最好的学术向中文综述。中文版本：LLM_Survey_Chinese_0418.pdf 作为入门资料偏难，看不懂的部分可以等到后面章节再回头重看。ChatGPT Prompt Engineering for Developers 虽然是 Prompt 工程，但是内容比较简单，适合入门者。

中英双语字幕：https://github.com/GitHubDaily/ChatGPT-Prompt-Engineering-for-Developers-in-Chinese OpenAI Quickstart OpenAI 官方 Quickstart 文档。以及 API Reference State of GPT：GPT 联合创始人做的演示，极好的总结了 GPT 的训练和应用。

视频：https://www.youtube.com/watch?v=bZQun8Y4L2A PPT：https://karpathy.ai/stateofgpt.pdf

提高篇

清华大模型公开课：从NLP到大模型的综合课程，挑选感兴趣的了解。

深度学习：台湾大学李宏毅：台湾大学李宏毅，国语教程里最好的，讲的很清楚，也比较有趣。Understanding large language models ：理解大语言模型。The Illustrated GPT-2 (Visualizing Transformer Language Models)：图解 GPT2 中文翻译：https://zhuanlan.zhihu.com/p/139840113

InstructGPT: Training language models to follow instructions with human feedback：著名的 InstructGPT 论文。另外一篇中文介绍：https://huggingface.co/blog/zh/rlhf Huggingface NLP Course：NLP 入门课程 0x30 应用篇 Building Systems with the ChatGPT API 中文字幕：https://www.bilibili.com/video/BV1gj411X72B/ Langchain Langchain 是大语言模型最火的应用框架。即使不使用，也可以借鉴。

LangChain for LLM Application Development 中文字幕：https://www.bilibili.com/video/BV1Ku411x78m/ GPT best practices：OpenAI 官方出的最佳实践。openai-cookbook：OpenAI 官方 Cookbook。Brex’s Prompt Engineering Guide：Prompt 工程简介

深入篇

Huggingface Transformer 文档：Transformer 官方文档

复杂推理：大语言模型的北极星能力 ：略学术，解释大语言模型能力的来源。

GPT，GPT-2，GPT-3 论文精读：视频精读。Building LLM applications for production：在生产环境中构建 LLM 应用。

大模型岗位需求

大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

-END-

---

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/638889