当前位置:   article > 正文

langchain+chromdb如何使用余弦查询和相似度

chromdb

        最近工作中遇到一个问题,用langchain+chromdb做向量召回的时候,发现返回的distance取值是0~正无穷,值越小代表相似度越高。现在想要将相似度变成0~1之间, 值越接近1相关度越高,进而通过相似度的值把评分低的召回抛弃掉,也就是常说的归一.。百度很多地方也没有解决, 只好去翻看langchain的文档和chromdb的官网。 

        闲话少说,上代码。

   

  1. # 持久化数据库并且关闭匿名化遥测数据
  2. client_settings = chromadb.config.Settings(anonymized_telemetry=False, is_persistent=True)
  3. # 向量模型设置cpu模式
  4. emb_fun = HuggingFaceEmbeddings(model_name= "GanymedeNil/text2vec-large-chinese",
  5. model_kwargs={'device': "cpu"})
  6. """
  7. collection_name : 集合名称
  8. embedding_function: 向量模型,可以带着地址
  9. persist_directory 数据库地址
  10. client_settings 链接配置: 这里持久化数据库并且关闭匿名化遥测数据
  11. collection_metadata 集合配置: 这里指定了相似度匹配算法
  12. """
  13. db = Chroma(collection_name=collection_name, embedding_function=emb_fun,
  14. persist_directory=persist_directory, client_settings=client_settings,
  15. collection_metadata={"hnsw:space": "cosine"})
  16. # 查询归一化的距离
  17. r = db.similarity_search_with_relevance_scores(query=question, k=k, filter=_filter)
  18. # 相似度评分
  19. score = r[1]

   难者不会,会者不难,好在之前看过chromdb官网,不然被坑死。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/829347
推荐阅读
相关标签
  

闽ICP备14008679号