当前位置:   article > 正文

基于Sentence Transformers和faiss文本检索与匹配算法_faiss文字匹配

faiss文字匹配

1、整体框架介绍

在这里插入图片描述
本次项目采用Sentence Transformers特征提取模型和深度学习向量库faiss的方法去实现文本检索与匹配。其中输入的文本数据流,包含离线和实时的数据,通过特征提取模型将提取的特征存入npy文件和faiss向量库中,利用faiss中的余弦相似度去计算是否相似。

1.1、SentenceTransformers 库介绍

SentenceTransformers 是一个可以用于句子、文本和图像嵌入的Python库。 可以为 100 多种语言计算文本的嵌入并且可以轻松地将它们用于语义文本相似性、语义搜索和同义词挖掘等常见任务。
该框架基于 PyTorch 和 Transformers,并提供了大量针对各种任务的预训练模型。 还可以很容易根据自己的模型进行微调。
阅读论文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks,深入了解模型的训练方式。 在本文中,我们将看到该库的一些可能用例的代码示例。
在这里插入图片描述
具体细节请参考:https://blog.csdn.net/deephub/article/details/122516399

1.2、faiss介绍

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/代码探险家/article/detail/875018
推荐阅读
相关标签
  

闽ICP备14008679号