重磅首发！2024最新大模型LLM学习路线图来了！_大 模型 llm "语音" 合成 tts 技术

ChatGPT的出现在全球掀起了AI大模型的浪潮，2023年可以被称为AI元年，AI大模型以一种野蛮的方式，闯入你我的生活之中。

从问答对话到辅助编程，从图画解析到自主创作，AI所展现出来的能力，超出了多数人的预料，让不少人惊呼：“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。

大模型岗位需求

大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；
• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；
• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；
• 更优质的项目可以为未来创新创业提供基石。

主流大模型

大模型是指模型具有庞大的参数规模和复杂程度的机器学习模型。在深度学习领域，大模型通常是指具有数百万到数十亿参数的神经网络模型。

这些模型通常在各种领域，例如自然语言处理、图像识别和语音识别等方面，表现出高度准确和广泛的泛化能力。大模型按照功能可分为NLP大模型、CV大模型、科学计算大模型和多模态大模型。

如今，大模型支持的模态数量更加多样，从支持文本、图片等单一模态下的单一任务，逐渐发展成支持多种模态下的多种任务：

• NLP（Natural Language Processing，自然语言处理）大模型：LLM为NLP大模型的一种，主要用于处理自然语言文本数据，具备强大的语言理解和生成能力，帮助人类完成问答、创作、文本等工作，例如Open AI的GPT系列模型。

• CV（Computer Vision，计算机视觉）大模型：主要用于处理图像和视频数据，具备强大的图像识别和视频分析能力，如人脸识别、物体检测等，具体可以在智能驾驶、安防等领域进行利用，例如腾讯的PCAM大模型。

• 科学计算大模型：主要用于解决科学领域的计算问题，如生物信息学、材料科学、气候模拟等，需要处理大规模数值数据，例如华为的盘古气象模型。

• 多模态大模型：可以同时处理多种类型的模态数据，如文本、图像、语音等，实现跨模态搜索、跨模态生成等任务，已有的渗透应用具体包括搜索引擎、办公工具、金融电商等，例如谷歌的Vision Transformer模型。

2024 大模型学习路线图

第一阶段 · 大模型开发基础

第一章：AI新篇章

1. 为什么要学习大模型开发？
2. 需要准备的工具和环境

第二章：大模型的训练与应用

1. 大模型发展史
2. 从大模型预训练、微调到应用
3. GPT结构剖析
4. 大模型家族、类别、应用场景
5. RAG，Agent与小模型

第三章：大模型实操与API调用

1. 通过API调用大模型
2. 单论对话与多轮对话调用
3. 开源模型与闭源模型调用
4. ChatGLM，Baichuan，Yi-34B调用
5. GPT，LLaMA模型调用
6. 模型的部署、容器化

第四章：提示工程技术（1）

1. 提示词的常见结构
2. 提示词的模版化
3. Zero-shot与Few-shot
4. In-context learning
5. Chain of thought prompting

第五章：提示工程技术（2）

1. Tree of thought prompting
2. Graph of thought promting
3. Self-consistency
4. Active-prompt
5. Prompt chaining

第二阶段 · RAG基础与架构

第六章：RAG基础与架构

1. 为什么需要RAG？
2. RAG的经典应用场景
3. RAG的经典结构与模块
4. 向量数据库
5. 检索与生成

第七章：【项目实战】基于RAG的PDF文档助

1. 产品介绍与核心功能
2. 技术方案与架构设计
3. 文档读取和解析
4. 文档的切分和文档向量化
5. query搜索与文档排序
6. 提示模版与大模型API接入
7. 模型部署与Web应用

第八章：文档切分常见算法

1. 根据每个Sentence切分
2. 根据固定字符数切分
3. 根据固定sentence数切分
4. 根据递归字符来切分
5. 根据语义相似度来切分

第九章：向量数据库常见算法

1. 常用向量数据库以及类别
2. 向量数据库与索引算法
3. 到排表与搜索优化
4. KNN与近似KNN
5. Product Quantization

第十章：向量数据库算法进阶- HSNW

1. HSNW算法在索引中的重要性
2. NSW算法解读
3. NSW图中的搜索问题
4. Skip List讲解
5. 具有层次结构的NSW

第十一章：【项目实战】基于RAG的新闻推荐

1. 推荐系统原理、应用场景以及架构剖析
2. 传统推荐算法与基于LLM推荐算法
3. 新闻数据的准备与整理
4. 推荐中的召回与精排
5. 精排与Prompt构建
6. 模型部署与测试

第三阶段 · RAG与LangChain

第十二章：LangChain基础应用

1. 为什么需要LangChain?
2. 通过一个小项目快速理解各个模块
3. LangChain调用模型
4. PromptTemplate的应用
5. 输出格式设定
6. Pydantic Object设计

第十三章：理解Function Calling

1. 什么是 Function Calling
2. 自定义输出结构
3. 基于OpenAI调用Function Calling
4. Function Calling的稳定性
5. LangChain与Function Calling

第十四章：LangChain与Retrieval组件

1. Document Loaders
2. Text Splitters
3. Text Embedding模型
4. 常用的向量数据库调用
5. 常用的Retriever

第十五章：LangChain与Chain组件

1. 为什么需要Chain？
2. LLMChain, Sequential Chain
3. Transform Chain
4. Router Chain
5. 自定义Chain

第十六章：Advanced RAG（1）

1. 经典RAG的几个问题
2. Self-querying retrieval
3. MultiQuery retriever
4. Step-back prompting
5. 基于历史对话重新生成Query
6. 其他Query优化相关策略

第十七章：Advanced RAG（2）

1. Sentence window retrieval
2. Parent-child chunks retrieval
3. Fusion Retrieval
4. Ensemble Retrieval
5. RPF算法

第十八章：基于RAGAS的RAG的评估

1. 为什么需要评估RAG
2. RAG中的评估思路
3. 评估指标设计
4. 套用在项目中进行评估
5. RAGAS评估框架的缺点

第十九章：实战基于Advanced RAG的PDF问答

1. 需求理解和系统设计
2. 经典RAG架构下的问题
3. 检索器优化
4. 生成器优化
5. 系统部署与测试

第四阶段 · 模型微调与私有化大模型

第二十章：开源模型介绍

1. 模型私有化部署的必要性
2. 中英开源模型概览与分类
3. ChatGLM, Baichuan，Yi等中文开源模型
4. LLaMA，Mistral系列英文开源模型
5. 微调所需要的工具和算力

第二十一章：模型微调基础

1. 判断是否需要模型微调
2. 模型微调对模型的影响和价值
3. 选择合适的基座模型
4. 数据集的准备
5. 微调训练框架的选择

第二十二章：GPU与算力

1. GPU与CPU
2. GPU的计算特性
3. 微调所需要的算力计算公式
4. 常见GPU卡介绍与比较
5. 搭建GPU算力环境

第二十三章：高效微调技术-LoRA

1. 全量微调与少量参数微调
2. 理解LoRA训练以及参数
3. PEFT库的使用
4. LoRA训练硬件资源评估
5. 认识QLoRA训练

第二十四章：【项目实战】基于ChatGLM-6B+LoRA对话微调模型

1. 理解ChatGLM模型家族以及特性
2. 导入模型以及tokenizer
3. 设计模型参数以及LoRA参数
4. 训练以及部署微调模型
5. 测试微调模型

第五阶段 · Agent开发

第二十五章：Agent开发基础

1. 什么是Agent
2. 什么是Plan, Action, Tools
3. 经典的Agent开源项目介绍
4. 编写简单的Agent程序
5. Agent目前面临的挑战与机遇

第二十六章：自定义Agent工具

1. LangChain所支持的Agent
2. 什么需要自定义Agent
3. @tool decorator的使用
4. 编写自定义Agent工具
5. 编写完整的Agent小项目

第二十七章：深入浅出ReAct框架

1. 回顾什么是CoT
2. CoT和Action的结合
3. 剖析ReAct框架的Prompt结构
4. 从零实现ReAct（from Scratch)
5. ReAct框架的优缺点分析

第二十八章：【项目实战】开源Agent项目

1. 开源Agent项目以及分类
2. AutoGPT项目讲解
3. MetaGPT项目讲解
4. 其他开源项目
5. Agent技术目前存在的问题

第二十九章：深度剖析Agent核心部件

1. Agent的planning
2. Agent的reasoning
3. Agent的knowledge
4. Agent的memory
5. Agent的泛化能力

第三十章：【项目实战】基于Agent的AI模拟面试

1. 需求设计和系统设计
2. 工具的设计
3. AI面试中的深度询问方案设计
4. 提示工程设计
5. Memory的设计
6. 智能体开发与部署

第三十一章：Agent其他案例分享

1. AI旅游规划师
2. AI产品销售
3. AI房租推荐
4. AI图像处理
5. AI网站开发

第三十二章：其他Agent前沿应用

1. 多个Agent的协同
2. Agent的group行为
3. Agent Society
4. Agent的Personality
5. 斯坦福小镇案例

第六阶段 · 智能设备与“小”模型

第三十三章：智能设备上的模型优化基础

1. 智能设备特性以及资源限制
2. 模型优化的必要性
3. 常见的模型压缩技术
4. 轻量级模型架构介绍
5. 开源小模型

第三十四章：模型在智能设备上的部署

1. 多大的模型适合
2. 部署流程概述
3. 模型转换工具
4. 模型部署实战
5. 性能测试与优化

第三十五章：边缘计算中的大模型挑战与机遇

1. 边缘计算的概念和重要性
2. 模型所要满足的要求与性能上的平衡
3. 模型在边缘设备上的应用案例
4. 未来“小”模型发展趋势
5. 24年“小”模型机会

第七阶段 · 多模态大模型开发

第三十六章：多模态大模型基础

1. 什么是多模态模型
2. 多模态的应用场景
3. DALLE-3与Midjourney
4. Stable Diffusion与ControlNet
5. 语音合成技术概述
6. 主流TTS技术剖析

第三十七章：多模态模型项目剖析

1. 多模态大模型最新进展
2. Sora对多模态大模型会产生什么影响
3. 案例：MiniGPT-4与多模态问答
4. 案例：BLIP与文本描述生成
5. 案例：Video-LLaVA与多模态图像视频识别

第三十八章：大模型的挑战与未来

1. 大模型技术局限性
2. 大模型的隐私性和准确性
3. 大模型和AGI未来
4. GPT商城的机会
5. 多模态的机会
6. 对于开发工程师未来的启示

以上的AI大模型学习资料，都已上传至CSDN，需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

以上的AI大模型学习资料，都已上传至CSDN，需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。