代码探险家

这个屌丝很懒，什么也没留下！

热门标签

LLM（大模型）应用开发利器之LangChain，带你走近AI世界_ai的llmlangchain都包括哪些

作者：代码探险家 | 2024-07-31 03:07:19

踩

ai的llmlangchain都包括哪些

在这里插入图片描述

LangChain组件图

LangChain 是什么

首先 LangChain 是一个框架，这个框架是用来让开发者进行 LLMs （大语言模型）应用开发的。

可以理解是为各种 LLM 开发的脚手架，将 LLM 的各个组件进行封装和链接。把 LLMs 相关的组件“链接”在一起，简化 LLMs 应用的开发难度，方便开发者快速地开发复杂的 LLMs 应用。

举一个不是很恰当的栗子，从 Java 工程师的角度来看 LangChain 更像是 Spring 或者 SpringBoot 这种框架，帮助开发人员更快的进行应用开发。

LangChain 框架组件

Models（I/O）：各种类型的模型集成。

Outline概要

· Prompts：模板化、动态选择和管理模型输入

· Language models：通过通用接口调用语言模型

· Output parsers：从模型输出中提取信息

在这里插入图片描述

Models（I/O）

Prompts组件：包含Prompt templates和Example selectors。

在这里插入图片描述

Prompts

Prompt templates：

· 对语言模型的指令

· 一组几个镜头示例来帮助语言模型生成更好的响应

· 对语言模型的一个问题

分别举例：TemplateFormat、MessageTemplate、FewShotPromptTemplate、Example selectors

TemplateFormat：

在这里插入图片描述

TemplateFormat

MessageTemplate：

在这里插入图片描述

MessageTemplate

FewShotPromptTemplate：

在这里插入图片描述

FewShotPromptTemplate

Example selectors：

在这里插入图片描述

Example selectors

Language models:

· LLMs

· Chat models

LLMs：采用文本字符串作为输入并返回文本字符串的模型。

gpt-3.5-turbo：

在这里插入图片描述

gpt-3.5-turbo

Streaming：

在这里插入图片描述

Streaming

Chat models：聊天模型是语言模型的变体。

Caching：

![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=data%3Aimage%2Fsvg%2Bxml%2C%253C%253Fxml%20version%3D’1.0’%20encoding%3D’UTF-8’%253F%253E%253Csvg%20width%3D’1px’%20height%3D’1px’%20viewBox%3D’0%200%201%201’%20version%3D’1.1’%20xmlns%3D’http%3A%2F%2Fwww.w3.org%2F2000%2Fsvg’%20xmlns%3Axlink%3D’http%3A%2F%2Fwww.w3.org%2F1999%2Fxlink’%253E%253Ctitle%253E%253C%2Ftitle%253E%253Cg%20stroke%3D’none’%20stroke-width%3D’1’%20fill%3D’none’%20fill-rule%3D’evenodd’%20fill-opacity%3D’0’%253E%253Cg%20transform%3D’translate(-249.000000%2C%20-126.000000&pos_id=img-gIVdA3Jm-1715743155270)’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

Caching

outputparser

· 获取格式指令

· 解析

· 带有提示的解析

分别举例：DateTimeParser、EnumParser、ListParser、OutputParser

DateTimeParser：

在这里插入图片描述

DateTimeParser

EnumParser：

在这里插入图片描述

EnumParser

ListParser：

在这里插入图片描述

ListParser

OutputParser：
在这里插入图片描述

OutputParser

Memory：记忆涉及在用户与语言模型的交互过程中保留状态概念。用户与语言模型的交互是在 ChatMessages 的概念中捕获的，因此这可以归结为从一系列聊天消息中摄取、捕获、转换和提取知识。一般来说，对于每种类型的记忆，都有两种理解使用记忆的方法。这些是从一系列消息中提取信息的独立函数，然后您可以通过一种方式在链中使用这种类型的内存。内存可以返回多条信息（例如，最近的 N 条消息和所有先前消息的摘要）。

在这里插入图片描述

Memory

Outline概要

· ConversationBufferMemory

· ConversationBufferWindowMemory

· ConversationTokenBufferMemory

· ConversationSummaryMemory

ConversationBufferMemory：

在这里插入图片描述

ConversationBufferMemory

ConversationBufferWindowMemory：

在这里插入图片描述

ConversationBufferWindowMemory

ConversationTokenBufferMemory：

在这里插入图片描述

ConversationTokenBufferMemory

ConversationSummaryMemory：

在这里插入图片描述

ConversationSummaryMemory

Chains：

在这里插入图片描述

Chains

Outline概要

· LLMChain

· SequentialChain

· SimpleSequentialChain

· SequentialChain

· RouterChain

LLMChain：

在这里插入图片描述

LLMChain

SimpleSequentialChain：一般序列链可以将前一个链的输出结果，作为后一个链的输入。一般序列链有唯一输入和输出变量。

在这里插入图片描述

SimpleSequentialChain

SequentialChain：序列链中包含多个链，其中一些链的结果可以作为另一个链的输入。序列链可以支持多个输入和输出变量。

在这里插入图片描述

SequentialChain流程图

在这里插入图片描述

SequentialChain

RouterChain：路由链类似一个while else的函数，根据输入值，选择对应的路由（路径）进行后续的链路。整个路由链一般一个输入，一个输出。

在这里插入图片描述

RouterChain流程图

在这里插入图片描述

RouterChain（1）

在这里插入图片描述

RouterChain（2）

Agents：某些应用程序需要根据用户输入对 LLM 和其他工具进行灵活的调用链。代理接口为此类应用程序提供了灵活性。代理可以访问一套工具，并根据用户输入确定使用哪些工具。代理可以使用多种工具，并使用一个工具的输出作为下一个工具的输入。

在这里插入图片描述

Agents

Outline概要

· 动作代理：在每个时间步，使用所有先前动作的输出来决定下一个动作

· 计划并执行代理：预先决定完整的操作顺序，然后执行所有操作而不更新计划

分别举例：MathAndWikiAgent、PythonREPLAgent、MultiFunctionsAgent

MathAndWikiAgent：

在这里插入图片描述

MathAndWikiAgent

PythonREPLAgent：

在这里插入图片描述

PythonREPLAgent

MultiFunctionsAgent：

在这里插入图片描述

MultiFunctionsAgent

索引（index）：索引是指以最佳方式对文档进行结构化，以便语言模型（LLMs）能够与其进行最佳交互。这个模块包含了处

理文档的实用函数。

在这里插入图片描述

索引（index）

Outline概要

· 嵌入（Embeddings）：嵌入是对信息（例如文本、文档、图像、音频等）的数值表示。通过嵌入，可以将信息转换为向量形式，以便计算机能够更好地理解和处理。

· 文本拆分器（Text Splitters）：当需要处理较长的文本时，有必要将文本分割成多个块。文本拆分器是用于将长文本分割成更小片段的工具。

· 向量数据库（Vectorstores）：向量数据库存储和索引来自自然语言处理模型的向量嵌入，用于理解文本字符串、句子和整个文档的含义和上下文，从而获得更准确和相关的搜索结果。请参阅可用的向量数据库。

代码示例如下：

在这里插入图片描述

index

应用实例langchain-chatglm-6B流程图如下：

在这里插入图片描述

langchain-chatglm-6B（1）

在这里插入图片描述

langchain-chatglm-6B（2）

evaluation：

Outline概要

· 示例生成：Example generation

· 手动评估（和调试）：Manual evaluation (and debugging)

· LLM辅助评估：LLM-assisted evaluation

Example generation：

在这里插入图片描述

Example generation（1）

在这里插入图片描述

Example generation（2）

Manual evaluation (and debugging)：

在这里插入图片描述

Manual evaluation (and debugging)

LLM-assisted evaluation：

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
…

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

在这里插入图片描述

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】

LLM（大模型）应用开发利器之LangChain，带你走近AI世界_ai的llmlangchain都包括哪些

LangChain 是什么

LangChain 框架组件

Models（I/O）：各种类型的模型集成。

Outline概要

· Prompts：模板化、动态选择和管理模型输入

· Language models：通过通用接口调用语言模型

· Output parsers：从模型输出中提取信息

Prompts组件：包含Prompt templates和Example selectors。

Prompt templates：

Language models:

LLMs：采用文本字符串作为输入并返回文本字符串的模型。

Chat models：聊天模型是语言模型的变体。

outputparser

Outline概要

· ConversationBufferMemory

· ConversationBufferWindowMemory

· ConversationTokenBufferMemory

· ConversationSummaryMemory

ConversationBufferMemory：

ConversationBufferWindowMemory：

ConversationTokenBufferMemory：

ConversationSummaryMemory：

Chains：

Outline概要

· LLMChain

· SequentialChain

· SimpleSequentialChain

· SequentialChain

· RouterChain

LLMChain：

SimpleSequentialChain：一般序列链可以将前一个链的输出结果，作为后一个链的输入。一般序列链有唯一输入和输出变量。

SequentialChain：序列链中包含多个链，其中一些链的结果可以作为另一个链的输入。序列链可以支持多个输入和输出变量。

RouterChain：路由链类似一个while else的函数，根据输入值，选择对应的路由（路径）进行后续的链路。整个路由链一般一个输入，一个输出。

Outline概要

· 动作代理：在每个时间步，使用所有先前动作的输出来决定下一个动作

· 计划并执行代理：预先决定完整的操作顺序，然后执行所有操作而不更新计划

分别举例：MathAndWikiAgent、PythonREPLAgent、MultiFunctionsAgent

索引（index）：索引是指以最佳方式对文档进行结构化，以便语言模型（LLMs）能够与其进行最佳交互。这个模块包含了处

理文档的实用函数。

Outline概要

· 嵌入（Embeddings）：嵌入是对信息（例如文本、文档、图像、音频等）的数值表示。通过嵌入，可以将信息转换为向量形式，以便计算机能够更好地理解和处理。

· 文本拆分器（Text Splitters）：当需要处理较长的文本时，有必要将文本分割成多个块。文本拆分器是用于将长文本分割成更小片段的工具。

· 向量数据库（Vectorstores）：向量数据库存储和索引来自自然语言处理模型的向量嵌入，用于理解文本字符串、句子和整个文档的含义和上下文，从而获得更准确和相关的搜索结果。请参阅可用的向量数据库。

代码示例如下：

应用实例langchain-chatglm-6B流程图如下：

evaluation：

Outline概要

· 示例生成：Example generation

· 手动评估（和调试）：Manual evaluation (and debugging)

· LLM辅助评估：LLM-assisted evaluation

Example generation：

Manual evaluation (and debugging)：

LLM-assisted evaluation：

如何学习大模型 AI ？

第一阶段（10天）：初阶应用

第二阶段（30天）：高阶应用

第三阶段（30天）：模型训练

第四阶段（20天）：商业闭环

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】