赞
踩
最近工作中遇到一个问题,用langchain+chromdb做向量召回的时候,发现返回的distance取值是0~正无穷,值越小代表相似度越高。现在想要将相似度变成0~1之间, 值越接近1相关度越高,进而通过相似度的值把评分低的召回抛弃掉,也就是常说的归一.。百度很多地方也没有解决, 只好去翻看langchain的文档和chromdb的官网。
闲话少说,上代码。
- # 持久化数据库并且关闭匿名化遥测数据
- client_settings = chromadb.config.Settings(anonymized_telemetry=False, is_persistent=True)
- # 向量模型设置cpu模式
- emb_fun = HuggingFaceEmbeddings(model_name= "GanymedeNil/text2vec-large-chinese",
- model_kwargs={'device': "cpu"})
- """
- collection_name : 集合名称
- embedding_function: 向量模型,可以带着地址
- persist_directory 数据库地址
- client_settings 链接配置: 这里持久化数据库并且关闭匿名化遥测数据
- collection_metadata 集合配置: 这里指定了相似度匹配算法
- """
- db = Chroma(collection_name=collection_name, embedding_function=emb_fun,
- persist_directory=persist_directory, client_settings=client_settings,
- collection_metadata={"hnsw:space": "cosine"})
- # 查询归一化的距离
- r = db.similarity_search_with_relevance_scores(query=question, k=k, filter=_filter)
- # 相似度评分
- score = r[1]
难者不会,会者不难,好在之前看过chromdb官网,不然被坑死。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。