赞
踩
最近有看到可以利用LangChain+OpenAI的API来实现一个问答系统,上一篇文章:ChatGLM 集成进LangChain工具。既然可以将ChatGLM 集成进LangChain,是不是我们可以在完全不使用OpenAI的情况下来是实现一个私有化的本地知识库问答系统的搭建呢?本文将介绍一种可行的方案。
本文使用一篇公开的新闻数据(腾讯2022年第四季度营收1449.5亿元 调整后净利润297.1亿元)来做测试。
参照Text Splitters文档,可以选择对应的文本切分器,如果是通用文本的话,建议选择RecursiveCharacterTextSplitter,代码如下:
python
复制代码
from langchain.document_loaders import UnstructuredFileLoader from langchain.text_splitter import RecursiveCharacterTextSplitter # 导入文本 loader = UnstructuredFileLoader("./data/news_test.txt") # 将文本转成 Document 对象 data = loader.load() print(f'documents:{len(data)}') # 初始化加载器 text_splitter = RecursiveCharacterTextSplitter(chunk_size=100, chunk_overlap=0) # 切割加载的 document split_docs = text_splitter.split_documents(data) print("split_docs size:",len(split_docs))
打印结果如下:
arduino
复制代码
documents:1 split_docs size: 31
目前有两种方式可以生成Embedding数据
OpenAIEmbeddings
来生成Embedding数据javascript
复制代码
from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain import VectorDBQA from langchain.document_loaders import UnstructuredMarkdownLoader from langchain.embeddings.openai import OpenAIEmbeddings import IPython import os from dotenv import load_dotenv load_dotenv() os.environ["OPENAI_API_KEY"] = os.getenv("OPENAI_API_KEY") os.environ["OPENAI_API_BASE"] = os.getenv("OPENAI_API_BASE") embeddings = OpenAIEmbeddings( )
HuggingFaceEmbeddings
来生成Embedding数据python
复制代码
from langchain.vectorstores import Chroma from langchain.embeddings.huggingface import HuggingFaceEmbeddings import IPython import sentence_transformers embedding_model_dict = { "ernie-tiny": "nghuyong/ernie-3.0-nano-zh", "ernie-base": "nghuyong/ernie-3.0-base-zh", "text2vec": "GanymedeNil/text2vec-large-chinese", "text2vec2":"uer/sbert-base-chinese-nli", "text2vec3":"shibing624/text2vec-base-chinese", } EMBEDDING_MODEL = "text2vec3" # 初始化 hugginFace 的 embeddings 对象 embeddings = HuggingFaceEmbeddings(model_name=embedding_model_dict[EMBEDDING_MODEL], ) embeddings.client = sentence_transformers.SentenceTransformer( embeddings.model_name, device='mps')
两种方式的差别:
有多种向量数据库选择,这里选择比较简单的Chroma
,因为比较轻量,直接安装库就可使用。
ini
复制代码
from langchain.vectorstores import Chroma # 初始化加载器 db = Chroma.from_documents(split_docs, embeddings,persist_directory="./chroma/openai/news_test") # 持久化 db.persist()
持久化后,可以直接选择从持久化文件中加载,不需要再重新就可使用了,使用方式如下:
ini
复制代码
db = Chroma(persist_directory="./chroma/news_test", embedding_function=embeddings)
当然也可使用FAISS
,使用方式也类似,
java
复制代码
from langchain.vectorstores import FAISS db = FAISS.from_documents(split_docs, embeddings) db.save_local("./faiss/news_test")
ini
复制代码
db = FAISS.load_local("./faiss/news_test",embeddings=embeddings)
ini
复制代码
# 初始化 prompt 对象 question = "2022年腾讯营收多少" similarDocs = db.similarity_search(question, include_metadata=True,k=4) [print(x) for x in similarDocs]
最多返回匹配的前4条相似度最高的句子
ini
复制代码
from langchain.chains import RetrievalQA import IPython retriever = db.as_retriever() qa = RetrievalQA.from_chain_type(llm=ChatGLM(temperature=0.1), chain_type="stuff", retriever=retriever) # 进行问答 query = "2022年腾讯营收多少" print(qa.run(query))
最终效果可能并不是很好,这可能跟文本切分、embedding生成都有关系,需要再不断调节,但是整体思路和方案是可行的。
本文使用LangChain+ChatGLM来实现一个简单的基于本地知识库的问答系统,可以在完全不使用openai提供的api来完成本地知识库问答系统的搭建,如果有需要做本地私有化知识库问答系统的,可以参考此方案。
imClumsyPanda /langchain-ChatGLM
使用langchain配合chatglm搭建本地的知识库,但是langchain和chatglm是部署在一起的,耦合性比较高
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。