当前位置:   article > 正文

Py之Langchain:Langchain(LLM大型语言模型应用程序框架/将LLMs个体进行flow的能力)的简介、安装、使用方法之详细攻略_python langchain

python langchain

Py之Langchain:Langchain(LLM大型语言模型应用程序框架/将LLMs个体进行flow的能力)的简介、安装、使用方法之详细攻略

目录

Langchai的简介

1、两个主要价值

2、六个主要领域

Langchai的安装

Langchain的使用方法

1、基础用法

(1)、LangChain帮助创建的最常见和最重要的链包含三要素:

>>语言模型(LLM):语言模型是核心的推理引擎。要使用LangChain,需要理解不同类型的语言模型以及如何与它们一起工作。

>>提示模板:这提供了给语言模型的指令。它控制语言模型的输出,因此理解如何构建提示和不同的提示策略至关重要。

>>输出解析器:这些将LLM的原始响应转化为更易处理的格式,使其便于在下游使用。

三者结合的案例代码

2、进阶用法

(1)、针对特定文档的问答Question Answering over specific documents

LLMs之RAG:基于LangChain框架+Blendle示例数据(手册)+ChatGPT接口实现与Notion数据库(Notion提供知识内容+Faiss提供快速搜索能力+pkl文件存储和加载Faiss索引)提问并部署到StreamLit前端界面实现QA交互代码实战—多个py文件(利用ingest.py文件将从Notion的数据导入到LangChain中+利用qa.py文件实现向Notion数据库提出问题并获取答案和相关资源+利用main.py文件实现利用Streamlit构建的前端界面实现与一个交互的问答系统)之详细攻略

LLMs之RAG:基于LangChain框架利用ChatGPT的API实现一个与在线网页交互的对话机器人—五大思路步骤—加载文档WebBaseLoader网址文件→文档分割(chunk_size=500)→文本嵌入化(OpenAIEmbeddings)并存储到向量库(Chroma)→构造Prompt(拉取一个对象并将其返回为 LangChain对象)→定义LLMs(ChatOpenAI)→输入查询文本来构造RAG chain并利用LLMs生成响应

LLMs之RAG:基于LangChain框架利用ChatGPT的API实现一个与本地文档交互的对话机器人—八大步骤实战代码—文档分词(jieba)→分割文档(chunk_size=1000)→文档词嵌入化→存到向量数据库Chroma→创建ChatOpenAI对象→实现基于增强检索的对话链路(将历史对话和新问题构造成独立问题+传给检索器获取相关文档)→根据输入的问题传入到chain链路中获取答案

DB之VDB:基于LangChain解决知识向量数据库(RAG场景)中局部旧知识更新的问题—痛点、需求、解决方案、实战、优缺点

LLMs之RAG之LangChain-ChatGLM:基于Langchain框架利用Embedding模型(text2vec-large-chinese)+ChatGLM-6B模型(Docker 部署)接入本地知识库—生成本地知识库/分割成块/向量化)→基于问题【Embdding+向量化+相似度计算+匹配TopK作为上下文】=生成Prompt喂给大模型→LLMs响应—实现问答响应项目(CLI/WebUI/VUE,对话任务/知识库问答/Bing搜索)图文教程之详细攻略

LLMs之RAG:LangChain-ChatGLM-Webui(一款基于本地知识库(各种文本文档)的自动问答的GUI界面实现)的简介、安装、使用方法之详细攻略

LLMs之RAG:LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embedding模型m3e等+多种TextSplitter分词器)、安装(镜像部署【AutoDL云平台/Docker镜像】,离线私有部署+支持RTX3090 ,支持FAISS/Milvus/PGVector向量库, 基于LangChain 框架+FastAPI的API调用服务+Streamlit 的WebUI操作)、使用方法(不包括微调/训练,支持LLM对话/知识库问答/搜索引擎问答)之详细攻略

LLMs之RAG:基于LangChain框架对pdf文件通过创建本地知识库(m3e+FAISS+混合检索【BM25+FAISS】)+利用大模型对检索到的上下文信息进行问答生成(LLM及其分词模型选择Qwen-7B-Chat-Int4)=实现一个基于RAG的本地大模型问答程序之详细攻略

(2)、聊天机器人Chatbots

(3)、代理Agents

LLMs之Langchain之Agent:案例集合—利用langchain实现Agent的多种组合工具应用(如调用ChatGPT的API+wikipedia工具+llm-math计算器工具实现实现回答问题任务)

LLMs:基于Langchain框架Routerchain函数的两种方法(LLMRouterChain基于输入的语义相似度/EmbeddingRouterChain基于输入的语言模型预测)实现路由决策


Langchai的简介

      大型语言模型(LLMs)正在成为一种具有变革性的技术,使开发人员能够构建以前无法构建的应用程序。然而,仅仅将这些LLMs用于独立应用通常是不够的,真正的力量在于将它们与其他计算或知识来源相结合。LangChain的主要目标是将LLM与开发者现有的知识和系统相结合,以提供更智能化的服务。LangChain,AI是个体能力,LangChain是将LLMs个体进行flow的能力。
      LangChain是一个基于大语言模型(如ChatGPT)用于构建端到端语言模型应用的Python框架。LangChain可以让您的LLM应用程序从原型到生产,使用LangChain灵活的抽象和AI优先工具包构建上下文感知的推理应用程序。它提供了一系列模块,这些模块可以组合在一起,用于创建复杂的应用程序,也可以单独用于简单的应用程序。它逻辑上主要有6大模块: llms、prompt、chains、agents、memory、indexes.

      LangChain是一个基于语言模型开发应用程序的框架,提供Python和TypeScript两种包。我们认为,最强大和独特的语言模型应用程序应具备以下特点:
>>数据感知:将语言模型与其他数据源连接起来
>>代理化:允许语言模型与其环境进行交互

官方网址https://www.langchain.com/

官方文档https://www.wpsshop.cn/w/我家小花儿/article/detail/357398

推荐阅读
相关标签
  

闽ICP备14008679号