在线问答5

这个屌丝很懒，什么也没留下！

热门标签

热门文章

当前位置: article > 正文

LLMs之LangChain：LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程_langsmith 本地化部署

作者：在线问答5 | 2024-06-25 22:23:39

赞

踩

langsmith 本地化部署

LLMs之LangChain：LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程序(构建LLM链/RAG检索链/对话RAG检索链/构建Agent)代码实现教程之详细攻略

目录

LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程序(构建LLM链/检索链/对话检索链/构建Agent)代码实现教程

软件安装和设置

Jupyter Notebook

一、运用LangSmith记录和跟踪链路：利用LangSmith平台监测语言模型应用在各个链路中的运行状态

二、构建应用：利用LangChain开发和构建LLM的应用程序，包括连接外部数据源和计算到大型语言模型（LLM）

T1、LLM链：构建基于语言模型的简单链路—利用Prompt模板和语言模型组成简单的链路进行响应

准备语言模型组件：选择使用开放API访问(如OpenAI、Anthropic)还是本地运行(如Ollama)的语言模型,并对其进行初始化设置

LLMs之LangChain：LLM Chain案例应用之构建基于语言模型(OpenAI的API)的简单对话链(利用Prompt模板和语言模型组成简单的链路进行响应)——获取API密钥并设置环境变量→初始化模型→模型使用(直接调用模型来进行文本生成/使用提示模板来指导模型的生成以获得更合适的输出)

T2、RAG检索链：构建基于检索的链路—通过文档加载器加载数据,向量化后建立检索器索引,利用检索器查询出文档后与问题一起输入语言模型获取响应

LLMs之LangChain：RAG检索链案例应用之构建基于外部文档信息的检索链—通过文档加载器加载数据,向量化后建立检索器索引,利用检索器查询出文档后与问题一起输入语言模型获取响应(限制模型输入在最相关文档范围内+提高模型的效率和准确性)——加载数据并向量化(WebBaseLoader工具从指定网页上加载数据+采用OpenAIEmbeddings存储到FAISS)→构建杂项检索链(基于ChatOpenAI+设置prompt)并对比(直接传递文档实现/基于动态文档的杂项检索链实现)→执行检索链(模型回答原始问题)

T3、对话RAG检索链：构建对话检索链路—考虑历史对话信息，使用语言模型生成检索查询词后联合历史对话检索文档输入语言模型

LLMs之LangChain：对话RAG检索链案例应用之构建基于内部对话历史感知的信息检索链(考虑历史对话信息，使用语言模型生成检索查询词后联合历史对话检索文档输入语言模型，能够回答后续问题+更好地理解用户的意图)—创建检索器链(基于ChatOpenAI+设置对话模板prompt【chat_history+input】并创建对话历史感知的信息检索器链)→测试检索器链(构建chat_history并测试检索器链)→创建文档链(定义基于对话历史的ChatPromptTemplate模板并创建处理文档链)→基于检索器链和文档链来创建完整检索链(连接对话历史感知的检索器链和文档处理链以实现更复杂的信息检索功能)→端到端测试整个检索链(基于完整检索链提供一个chat_history的实例和一个问题+观察返回的回答是否连贯)

T4、构建Agent：利用语言模型决定调用何种工具(如检索器、搜索器)获取信息后回答问题，形成反馈循环

LLMs之LangChain之Agent：Agent(LLM决定采取哪些步骤)案例应用之实现基于用户文本输入及其激活工具+Agent使用特定的工具来检索信息+形成反馈循环+以实现智能查询和交互功能—定义工具集(检索工具【根据指定网页检索】+Tavily搜索工具【爬虫实时最新搜索】)并初始化→创建Agent(采用更优的GPT3.5+提供指定工具集+模板prompt)并定义Agent执行器→基于用户查询Agent进行响应并对比(仅基于工具直接回答/基于历史信息和工具来回答)

三、使用LangServe提供服务：通过构建FastAPI后端并添加路由实现对外提供语言模型应用服务及可视化平台

第1步，下载依赖

第2步，服务器：创建.py文件

LLMs之LangChain：LangServe提供服务案例—创建一个使用LangChain框架的FastAPI服务器的Agent应用——接收用户输入+Agent调用语言模型并利用检索工具来处理输入(提供关于查询的相关信息)然后返回相应的输出—加载数据并创建检索器(指定网页加载文档+文本分割+文档向量化到FAISS)→定义工具集(检索工具【根据指定网页检索】+Tavily搜索工具【爬虫实时最新搜索】)并初始化→创建Agent(采用更优的GPT3.5+提供指定工具集+模板prompt)并定义Agent执行器→创建基于FastAPI的应用程序(标题+版本+描述)→添加路由(定义输入和输出模型+添加一个路由到FastAPI应用)→启动应用(通过Uvicorn启动FastAPI应用并监听)

第3步，Playground

第4步，客户端

LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为AP

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/在线问答5/article/detail/757555

推荐阅读

相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

闽ICP备14008679号