AI应用开发-python实现文本向量化及文本相似度计算_文本向量计算相似度python

AI应用开发相关目录

本专栏包括AI应用开发相关内容分享，包括不限于AI算法部署实施细节、AI应用后端分析服务相关概念及开发技巧、AI应用后端应用服务相关概念及开发技巧、AI应用前端实现路径及开发技巧
适用于具备一定算法及Python使用基础的人群

1. AI应用开发流程概述
2. Visual Studio Code及Remote Development插件远程开发
3. git开源项目的一些问题及镜像解决办法
4. python实现UDP报文通信
5. python实现日志生成及定期清理
6. Linux终端命令Screen常见用法
7. python实现redis数据存储
8. python字符串转字典
9. python实现文本向量化及文本相似度计算

---

---

一、

python——人工智能——NLP——应用开发的应用之一：
中文文本相似度计算
总计两个步骤：
1.文本向量化：使用已训练好的

paraphrase-multilingual-MiniLM-L12-v2模型（速度快，效果好，支持中文）

在

sentence-transformers框架

下实现

2.计算相似度：使用

余弦相似度

二、代码示例

配置环境 下载框架

pip install sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
1

代码使用

# 文本相似度计算
import sys
from sentence_transformers.util import cos_sim  
from sentence_transformers import SentenceTransformer as SBert

model = SBert("C:\\...\\...\\paraphrase-multilingual-MiniLM-L12-v2")

embedding1 =  model.encode('如何更换花呗绑定银行卡')
embedding2 =  model.encode('花呗更改绑定银行卡')
cosine_score = cos_sim(embedding1, embedding2)
cosine_score
1
2
3
4
5
6
7
8
9
10
11

离线模型下载
可见上述代码需要下载文本向量化模型：

paraphrase-multilingual-MiniLM-L12-v2

下载地址：

https://public.ukp.informatik.tu-darmstadt.de/reimers/sentence-transformers/v0.2/

转到该网站后，ctrl+F搜索模型名称即可下载。

下载后解压zip文件到指定路径，代码中修改模型文件绝对路径即可加载模型进行文本向量化及相似度计算！

---

三、总结

完结，撒花！