大模型-大模型应用向开发路径：AI代理工作流_大模型开发路径

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

1. 大模型应用向开发路径：AI代理工作流

---

---

一、大模型应用向开发路径及一点个人思考

大模型三种技术路线（转载） Agent + Function Calling、RAG（Retrieval-Augmented
Generation）和fine-tuning是三种不同的技术路线，用于增强和定制语言模型的能力。下面是它们各自的简要介绍和区别：
Agent + Function Calling:这种方法涉及到将语言模型（Agent）与外部功能（Function Calling）结合起来。语言模型可以理解用户的请求，并确定需要调用哪种外部功能来满足这些请求。外部功能可能包括数据库查询、API调用、或者执行某种计算任务等。这种方法允许模型在回答问题或执行任务时，可以访问到更新或更广泛的信息，而不仅仅是依赖于模型在训练数据上学到的知识。
RAG (Retrieval-Augmented Generation):RAG是一种将信息检索（Retrieval）和语言生成（Generation）结合的方法。在这种设置中，模型首先对一个大型的文档数据库执行搜索，以找到与输入查询相关的文档或信息片段。然后，这些检索到的文档被用作生成模型的上下文，帮助模型生成更准确、信息丰富的回答。RAG模型通常在需要结合大量外部信息来回答问题的场景中很有用。
Fine-tuning:Fine-tuning是对预训练语言模型进行进一步训练的过程，通常是为了适应特定任务或领域。在fine-tuning阶段，模型在一个特定的数据集上进行额外训练，这个数据集包含了目标任务或领域的样本。通过这种方式，模型可以更好地理解和生成与特定任务相关的语言，从而提高其在该任务上的表现。Fine-tuning是迁移学习的一种形式，它可以提高模型在特定任务上的精确度和效率。
总的来说，Agent + Function
Calling注重于模型与外部系统的交互；RAG注重于结合检索到的信息来增强回答的质量；而fine-tuning则是专注于通过额外训练来适应特定任务或领域。这三种方法可以根据应用场景的需求来选择使用，也可以结合起来使用，以发挥各自的优势。

上述内容提到了大模型，包括部署微调prompt/Agent应用开发、知识库增强的相关内容，但实际上通过半年的大模型应用侧开发研究，我与同事实际上思考出大模型在数据库增强、知识图谱增强、自然语言处理、多模态等方面仍有十分不错的前景与可落地性。

类似于传统基础模型（回归、分类、时序、目标检测等）在单一领域的功能发挥，大模型在 工作流领域具备非常强的实用性，是产品落地的合适选择。

• 例如文章撰写，可利用rag外挂语料库，使用微调增强模型写作能力，基于agent设计撰稿人、评稿人角色，根据实际撰稿需求，使得角色之间不断书写文章、修改文章，最终将文章润色为合格的输出结果。
• 又例如游戏设计，只需更改上述描述的领域数据，将角色扩大为策划、产品设计、代码开发-ui、代码开发-后端等等。

当然，现在模型能力较弱，伴随着算力与大模型能力的发展，这种大模型应用开发得思路会逐步落地到现实中，是可落地性非常强的大模型研发路线。

后续本专栏将持续分析该方向的相关内容。

---

大模型 一些梳理

模型能力面向代理工作流
模型对数据融合能力强

大模型几个方面的梳理：
应用上：
智能问答、传统NLP（抽取、摘要、情感分析）
多模态应用、科学计算
智能创作（文本风格或代码）
主要项目形式：
RAG问答、数据库\知识图谱的LLM问答
LLM在确定业务场景的工具化
数据生成
开发技巧：按颗粒度排序
cot：思维链，一种让大模型对问题进行拆解的技巧，可应用到大模型开发的方法面面，包括agent、prompt…
回馈机制\多角色协同：变种的cot，cot往往是让大模型扮演同一角色进行串式流程回答。但往往可以用给大模型提示扮演不同的角色，流程上也可以不是一线到底，可在某个步骤将结果返回，其形式更复杂，某种场景下可以有效提升大模型的问答性能。
prompt：提示词工程，最直接的大模型开发手段
agent：本质上是prompt+外部工具（函数、插件、子prompt），是通过一定机制使得大模型可通过提示词选择外部工具。
agent组：当然agent显然可以嵌套agent。

大模型国产化时注意的问题

1.关于硬件对软件开发环境支持情况
采用华为的国产化硬件进行大模型应用开发，其相关的环境（如CUDA、Anaconda等）配置上能否支持？是否有配置文档？配置难度怎么样？

2.关于硬件对软件框架的支持情况
目前一些RAG、大模型数据库应用的项目采用langchain-chatchat、db-gpt等开源项目或框架，之后多模态开发难免涉及CLIP等开源项目，想知道这些常见开源项目和框架在华为的国产化硬件上的适配情况。

总结

完结，撒花！