当前位置:   article > 正文

huggingface 下载模型和数据集方法与位置(linux服务器)_hf_hub_download

hf_hub_download

huggingface 下载模型方法的官方教程如下:

官方教程Download files from the Hub

如果可以访问官方教程,建议直接参考官方教程。本文是对官方教程和个人使用经历的片面总结

huggingface的使用环境为python

创建一个python文件(推荐)或者用python命令行:

  1. from huggingface_hub import hf_hub_download
  2. #下载模型和数据集,通过repo_id指定huggingface网站上的模型和数据集,repo_type指定下载的类别
  3. #模型存放位置:'/home/.cache/huggingface/hub/models--your-model-name/snapshots/xxxxxxxxxxxx'
  4. #下载模型
  5. hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json")
  6. #位置:'/home/.cache/huggingface/hub/models--lysandre--arxiv-nlp/snapshots/xxxxxxxx'
  7. #下载数据集
  8. hf_hub_download(repo_id="google/fleurs", filename="fleurs.py", repo_type="dataset")
  9. #位置:'/home/.cache/huggingface/hub/datasets--google--fleurs/snapshots/xxxxxxxx'
  10. #制定版本
  11. # 指定tag:Download from the `v1.0` tag
  12. hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json", revision="v1.0")
  13. # 指定branch:Download from the `test-branch` branch
  14. hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json", revision="test-branch")
  15. # 不熟悉pr和commit的可以参考git教程,这里可以先略过
  16. # 指定PR:Download from Pull Request #3
  17. hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json", revision="refs/pr/3")
  18. # 指定commit:Download from a specific commit hash
  19. hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json", revision="877b84a8f93f2d619faa2a6e514a32beef88ab0a")

这里仅仅是把模型下载下来的过程,找到模型和数据集下载位置是为了便于使用本地模型的权重

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/281361
推荐阅读
相关标签
  

闽ICP备14008679号