想要成为AIGC工程师，如何搭建私有知识库的AIGC大模型？

有的人还在担心被AI淘汰，有的人已经在指挥AI替他们干活了，"人工智能+"这一概念，不仅仅是技术的革新，更是一场深刻的社会变革。在CCTV-13的《两会你我他》访谈节目中，众多专家围绕这一议题展开了深入的讨论。李强总理在访谈中也强调了推动"人工智能+"行动的重要性。

如今的大环境下，特别是在AIGC（人工智能生成内容）领域，能够调用私有知识库的大模型产品已经成为推动各大企业和组织发展的重要工具。

在这样的背景下，掌握AIGC技术的大模型工程师和产品经理成为了市场上炙手可热的稀缺资源。如果您渴望成为这一领域的专家，想要在AI的浪潮中乘风破浪，那么现在就是行动的最佳时机。近屿智能的AIGC大模型工程师和产品经理训练营为您提供了一个全面的学习平台，无论您是初学者还是有一定基础的专业人士，都能在这里找到适合自己的成长路径。

AIGC大模型工程师和产品经理学习路径图详细介绍

• A1阶段：
  具备的能力：构建提示词来解决具体应用问题，大模型应用阶段，使用闭源商业大模型例如：文心一言、星火大模型、ChatGPT。
  通俗解释：对AIGC大模型最初级的运用阶段，可以使用文心一言、星火大模型、ChatGPT等各种AIGC大模型工具，提升工作效率
  软件发布/分发模式：闭源
  适合对象：旨在通过运用各类AIGC工具来提高工作效率，减轻因重复性工作引起的疲劳。
  预期职业岗位：适应AI时代的办公室职员、技术人员以及部分技术工人。
  
  A2阶段：
  具备的能力：能够对大型模型进行细致调整（Selective Fine-Tuning），使其在特定领域的任务表现达到商业应用标准。
  通俗解释：该阶段可以利用封闭源代码的大型模型API，通过精心设计的提示词（Prompt Engineering）创建一个能够广泛对话的聊天机器人。
  软件发布/分发模式：闭源
  适合对象：掌握如何有效地利用API，以及如何设计用户友好的交互体验；希望提高工作效率，通过API构建简单工具。
  学成可胜任的岗位：Prompt 工程师
  
  
  A3阶段：
  具备的能力：针对大模型在已有提示词上的性能表现不足的问题，构建面向任务的指令训练语料，对大模型进行有监督的指令微调，提升大模型在应用上的性能。
  通俗解释：该阶段能够对大模型进行精调（SFT），让大模型在某一个领域的任务表现可以商用
  软件发布/分发模式：闭源、开源
  适合对象：理解特定领域的需求，基于商业需求，能够调整和优化模型以适应特定的应用场景。
  学成可胜任的岗位：AI开发（应用）工程师
  实践项目：聊天机器人，利用闭源大模型API，如ChatGPT、文心一言等，来实现自然语言理解和生成的功能。基于用户输入的Prompt，机器人能够生成合适的回应。
  
  A4阶段：
  具备的能力：能够根据应用需求，借助langchian等大模型应用框架，通过集成领域或场景专业知识、调用智能体等，扩展大模型能力，构建专业的智能问答系统、知识检索系统或多智能体集成系统。
  通俗解释：该阶段能让大模型根据我们自己专业/行业的私有知识库，有质量的回答专业问题
  软件发布/分发模式：闭源、开源
  适合对象：可以基于整理和优化的知识库，提高模型在特定领域内的表现
  学成可胜任的岗位：AI算法工程师、AI软件架构师
  实践项目一：法律文书助手，本项目的目标是通过对大模型进行微调，使其能够有效辅助处理和管理法律文书。这一法律文书助手的主要功能包括对法律文件的分类、回应咨询、提取关键信息，以及自动化生成和编辑法律文档等。其最终目标是创建一个高效、准确且可信赖的法律文书处理助手，能够处理各种法律文书相关任务，极大地提高法律文书处理的效率和质量。该助手的核心价值在于帮助法律专业人员和相关用户更有效地管理法律文书，从而提高工作效率和沟通效果，减少人力资源的投入，并提升法律文书处理的专业性和准确性。
  实践项目二：医疗记录助手，本项目致力于通过对大模型进行微调，开发一个医疗记录助手，专门辅助处理和管理医疗文档。这一医疗记录助手的主要功能包括对医疗文件的分类、回应咨询、提取关键信息，以及自动生成和编辑医疗文档等。其最终目标是创建一个高效、准确且可信赖的医疗文档处理助手，能够处理各种医疗文书相关任务，显著提升医疗文档处理的效率和质量。该助手的核心价值在于帮助医疗专业人员和相关用户更有效地管理医疗记录，提高工作效率和沟通效果，减少人力资源投入，并提升医疗文档处理的专业性和准确性。
  实践项目三：金融报告助手，该项目旨在通过对大模型的微调，开发一个金融报告助手，专注于处理和管理金融文档。主要功能包括金融文件的分类、回应咨询、关键信息提取，以及自动化生成和编辑金融报告等。其最终目标是打造一个高效、精确、可靠的金融文档处理助手，能够应对各类金融文书任务，极大地提高金融文档处理的效率和质量。该助手的核心价值在于助力金融专业人员和相关用户更高效地管理金融报告，提升工作效率和沟通效果，减少人力资源的投入，并增强金融文档处理的专业性和准确性。
  
  A5阶段：
  具备的能力：针对开源大模型原有基座专业能力不足等问题，在已有的预训练框架下，组织领域相关预训练语料、原有或扩展的指令训练语料等，完成对模型底座的增量预训练、指令训练等任务实现对模型底座的能力扩展。
  通俗解释：训练入门级大模型的基座， 理解但不用修改代码，根据指定的标准或规范，可以按照指引进行增量预训练或模型底座训练
  软件发布/分发模式：闭源、开源
  适合对象：已学习入门级大模型训练技巧，包括数据构造和增量预训练，遵循指导训练垂直领域大模型
  学成可胜任的岗位：高级AI算法工程师
  实践项目一：
  法律领域常识问答机器人，该项目专注于开发一个专门针对法律领域的常识问答机器人。它旨在通过整合法律法规、案例判决、法律术语和程序等内容，构建一个全面的法律知识库。然后，利用这个知识库对大模型进行精调，以提高其在法律咨询、案例分析等方面的性能。最终目标是为律师、法律专业人士和公众提供准确的法律信息和建议。
  实践项目二：医疗领域常识问答机器人，此项目致力于创建一个医疗领域的常识问答机器人。项目的核心是构建一个包含医学术语、治疗方法、疾病知识等内容的医疗知识库。通过将这一知识库与大模型结合，并进行精调，机器人将能够在诸如疾病诊断支持、医疗咨询等领域提供专业的建议和信息。该项目旨在服务于医疗从业者和寻求医疗信息的公众。
  实践项目三：金融领域常识问答机器人，这个项目的目标是开发一个专注于金融领域的常识问答机器人。项目的核心工作是建立一个涵盖金融市场、投资策略、经济指标等内容的全面金融知识库。通过结合这一知识库和大模型，并进行精调，机器人将能在金融咨询、市场分析等方面提供高质量的支持。这一项目主要面向金融从业人员和对金融市场有兴趣的公众。
  
  A6阶段：
  具备的能力：针对模型底座能力不足等问题，研究引入模型的分布式扩展、全量或增量预训练框架，结合模型训练的加速框架，对不同参数规模的模型底座构建训练或增量预训练策略，实现全流程的大模型能力重构。
  通俗解释：训练高级大模型基座，设置大模型的全量微调或增量微调、Lora微调等大模型预训练策略，搭配Deep Speed加速框架，选择和修改预训练模型，增加特定领域的Token做预训练或增量预训练（比如，在Llama2的基础上做增量预训练，得到Chinese-Llama2）
  软件发布/分发模式：开源
  适合对象：已学习高级大模型训练技巧，包括全量微调和策略，以满足不同业务需求，训练大模型以满足特定需求
  学成可胜任的岗位：AI应用架构、研发工程师
  实践项目一：法律助手，这个项目旨在创建一个法律助手，使用训练入门级大模型基座来处理法律文档、法规和法律咨询任务。包括数据构造、模型训练和模型应用等步骤。
  实践项目二：医疗助手（需学员自备数据集），本项目的目标是开发一个医疗助手，使用训练入门级大模型基座来处理医疗文档、临床指南和医疗咨询任务。包括数据构造、模型训练和模型应用等步骤。
  实践项目三：金融助手，该项目旨在创建一个金融助手，利用训练入门级大模型基座来处理金融文档、市场数据和金融咨询任务。包括数据构造、模型训练和模型应用等步骤。
  
  A7阶段
  具备的能力：能够针对不同的领域或应用问题，研究优化Transformer结构、预训练大模型架构，开发新的大语言模型或多模态大模型，能够提出或改进大模型预训练、指令训练、强化学习阶段的模型架构，提出新的模型解决方案。
  通俗解释：能改Transformer的研究型人才
  软件发布/分发模式：开源
  学成可胜任的岗位：大模型研究员、科学家

我们的训练营课程内容丰富，涵盖从AIGC的基础知识到高级应用技能的全方位培训。您将有机会学习到如何设计和开发能够调用私有知识库的大模型产品，如何将AI技术应用到实际工作中，以及如何领导和管理AI项目。此外，我们还将提供实战项目经验，让您在真实环境中应用所学知识，快速提升自己的技能。

不要犹豫，现在就加入近屿智能的AIGC大模型工程师和产品经理训练营，让我们一起迈向AI的辉煌未来，开启您的职业生涯新篇章！