赞
踩
今天和大家分享一下如何解决Sentence Transformers中all-minilm-l6-v2等模型下载及使用的问题。在使用SentenceTransformers文本嵌入模型进行文本嵌入,完成计算语义相似度,语义搜索等任务时。常常会报这个错误:SSLError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /api/models/sentence-transformers/all-MiniLM-L6-v2......
- from sentence_transformers import SentenceTransformer
- embedding_model = SentenctTransformer('all-MiniLM-L6-v2')
即使我们使用了魔法,这个错误依然解决不掉。所以今天和大家分享一种手动下载的方法。
直接进入huggingface.co官网下载到本地,以all-MiniLM-L6-v2模型为例。去官网sentence-transformers/all-MiniLM-L6-v2 · Hugging Face 挨个下载到本地。
进入网站以后点击Files and versions,然后如下图所示进行下载。
下载路径存到自己习惯的地方,便于在代码中去调用。例如现在要使用下载到本地的all-MiniLM-L6-v2模型,只需要把最开始的代码修改如下:
- from sentence_transformers import SentenceTransformer
- embedding_model = SentenceTransformer('D:/notebook/BERTopic/all-MiniLM-L6-v2')
'D:/notebook/BERTopic/all-MiniLM-L6-v2'是我下载all-MiniLM-L6-v2模型保存的路径。各位小伙伴们更换成自己的就行。
一定会有许多小伙伴觉得一个一个下载太麻烦了,就不能一次性下载或者自动下载吗?当然有,大家可以去参考这一篇:sentence_transformers模型无法直接下载的解决方案_all-minilm-l6-v2-CSDN博客
但是,在我实践时,参考上述博客也出现了无法下载的情况,所以这里给大家介绍第二种方法,非常方便快捷!!
有些小伙伴可能是根本没有魔法的,或者用起来网速很慢的。这里给大家推荐一个网站Index of /reimers/sentence-transformers/v0.2/ (tu-darmstadt.de)在这个网站无需魔法、更不用一个一个下载,直接下载即可,也是我个人非常推荐的一种方式。
进入网站如下图所示:
小伙伴们可以按需进行下载,如果找不到再考虑使用第一种方法去官网下载。
以梦为码,编译天下,这次的分享就到这里啦!感谢大家阅读,祝愿各位小伙伴们bug退!退!退!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。