使用embedding实现简单的内容查找_百度千帆 embeddings 结合langchain

介绍

近两天学习了一点深度学习的内容。学的比较浅，想将自己的收获和理解记录下来，本文是基于langchain框架使用embedding实现简单的内容查找。话入正题。
embedding在深度学习中通常用于NLP（自然语言处理）。其作用是将文本处理成一个张量。

思路

通过将一个待查找文本使用分词器划分，然后使用embedding处理成张量。询问者输入问题也被处理一个张量此时进行匹配，程序将相似文本返回。

在embedding将文本处理为一个张量步骤中，产生的张量的好坏对程序的性能起决定性作用。自己电脑肯定是难以训练好一个embedding模型的，因此本次使用embedding模型是m3e-base，该模型在hungface中下载，当然模型的使用也是需要一定算力的，如果电脑无法使用该模型也可以使用市面上一些大模型的api。本文以百度的千帆大模型为例。

实现

程序通过langchain框架结合hungface模型简单实现。主要需要下载的包是langchain包

pip install langchain
1

如果是调用千帆接口还需要安装qianfan库

pip install qianfan
1

使用的库

from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from langchain.embeddings.baidu_qianfan_endpoint import QianfanEmbeddingsEndpoint
import os
1
2
3
4
5

这些库分别是：

• langchain中的分词器
• langchain的chroma作用是作为一个数据库，存储通过embedding得到的张量
• 第三和第四个分别是加载hungface模型的库和百度千帆大模型的embedding调用库，这两个库只需要调用一个，如果想要使用本地下载的模型就使用第一个，想要使用大模型api就会使用第四个
• os库这个是python自带的库，在此处目的主要是为了设置环境变量

加载文本内容

此处是为了加载需要查找的目标文本。这里我随便找了一个网页将该网页内容直接复制到data.txt文件中

f=pen('data.txt','r',encoding='utf-8')	#以读模式编码为utf-8打开文件
state_of_the_union = f.read()			#读取文件内容
f.close()								#关闭文件
1
2
3

使用分词器对文本划分

#划分器对象，第一个参数是通过回车符号划分，第二个参数是划分长度是60，最后参数是重叠个数
text_splitter = CharacterTextSplitter(separator="\n",chunk_size=60, chunk_overlap=2)
#通过划分器划分文件，并将结果返回
texts = text_splitter.split_text(state_of_the_union)
1
2
3
4

划分器同也是十分重要。其结果也一定程度关系到后面的结果好坏。就像是汉语的标点符号，划分错误可能会曲解原意。

加载模型对象

#下载的模型保存路径
m = r"m3e"
#加载模型对象
embeddings = HuggingFaceEmbeddings(model_name=m)
1
2
3
4

上面使用的是下载模型如果不想使用该模型可以直接调用千帆的api，当然也可以使用openai等大模型的api。这里只是作为一个示例。
二者各有优劣，使用本地模型好处是免费，缺点是如果模型的规模太大家用电脑可能无法带动，并且运算速度上无法比拟企业的服务器。调用企业大模型的api好处是速度快不需要太多的本地算力，坏处是这是付费的，不过好在费用不算太高。
这里以调用千帆的embedding为例

#将api的appkey添加到环境变量
os.environ['QIANFAN_AK']='yourak'
#将api的serectkey添加到环境变量
os.environ['QIANFAN_SK']='yoursk'
#使用千帆大模型的embedding
embeddings = QianfanEmbeddingsEndpoint()
1
2
3
4
5
6

部署数据

这里使用的是chorma作为数据库

#将划分后的文本和embedding作为参数构造数据库
docesearch = Chroma.from_texts(texts, embeddings)
1
2

查询内容

在以下代码中查询数据中返回的是多个数据，这些数据以概率排序，第一个是程序认为最大可能是答案的。这些数据存储在一个个列表中（元素类型不是字符串而是一个documen对象），如果只想要第一个数据可以直接用索引输出第一个数据。

#输入问题
question =input('usr:')
#查询数据
ans = docsearch.similarity_search(question)
#输出数据
print(ans) 
1
2
3
4
5
6

效果

usr:第一个手持计算机谁发明的
[Document(page_content='1972年，惠普（Hewlett-Packard）发明了第一个手持计算器。'), Document(page_content='1820年，法国人 查尔斯·泽维尔·托马斯·德·科尔马（Charles Xavier Thomas de Colmar）制作成功第一台成品机械式计算机。'), Document(page_content='1946年2月14日，美国人莫克利（JohnW.Mauchly）和艾克特（J.PresperEckert）在美国宾夕法尼亚大学研制成功世界上第一台通用电子计算机“ENIAC”。'), Document(page_content='1886年，美国芝加哥的多尔·菲尔特（Dorr Eugene Felt）制造了第一台用按键操作 的计算器。')]
1
2

需要注意的是该程序中，ai模型作用仅仅是作为embedding，作用是将文本转化为张量，最后的答案是程序通过对比数据库中张量和问题张量相似度得出，相似度越大是答案概率越大。因此如果询问一个和读入的文本数据毫不相关的问题，程序还是会按概率给出一个概率较高的答案，尽管该答案概率可能并不高，例如以下例子：

usr:1+1=？   
[Document(page_content='1976年，Cray 1诞生。它是第一台商用超级计算机，集成了20万个晶体管，每秒进行1.5亿次浮点运算。'), Document(page_content='1939年11月，美国的约翰·阿塔那索夫（John V. Atanasoff）和他的学生克利福特·贝瑞（Clifford Berry） 完成了一台16位的加法器，这是第一台真空管计算机。'), Document(page_content='1642年 ，法国数学家 布莱士·帕斯卡（Blaise Pascal） 在计算尺的基础上加以改进，能进行八位计算。'), Document(page_content='1938年，德国柏林的康拉德·楚泽（Konrad Zuse）和 他的助手们完成了一个机械可编程二进制形式的计算机，并将其命名为Z1。')]
1
2