当前位置:   article > 正文

国内下载huggingface模型的几种方式_huggingface 国内下载

huggingface 国内下载

要将 huggingface.co 的域名自动映射到重定向hf-mirror.com,可以采取以下几种方法(以Ubuntu 为例):

  1. 设置环境变量:通过设置环境变量 HF_ENDPOINT 来指定下载时使用的镜像站。这种方法不需要修改系统的 DNS 设置,只需在的用户目录下的 .bashrc.profile 文件中添加以下行:
       bash    export HF_ENDPOINT=https://hf-mirror.com    
       之后,每次打开终端时,该环境变量会自动设置。如果使用的是其他 shell,比如 zsh,可能需要编辑 .zshrc 文件。

  2. 修改 /etc/hosts 文件:通过修改 /etc/hosts 文件来将 huggingface.co 映射到 hf-mirror.com。这种方法需要管理员权限。可以使用文本编辑器(如 nano 或 vim)编辑 /etc/hosts 文件:
       bash    sudo nano /etc/hosts    
       然后,在文件中添加以下行:
           9.9.9.9 huggingface.co    
       这里的 9.9.9.9 是一个示例 IP 地址,需要将其替换为 hf-mirror.com 镜像站的实际 IP 地址。请注意,这种方法可能不是最佳选择,因为它会将所有对 huggingface.co 的请求都重定向到 hf-mirror.com,这可能会影响访问其他使用 huggingface.co 域名的服务。

  3. 使用 huggingface-cli 工具:如果使用的是 huggingface-cli 工具来下载模型,可以在命令中指定 --local-dir 参数来指定下载目录,同时设置 HF_ENDPOINT 环境变量来指定镜像站:
       bash    export HF_ENDPOINT=https://hf-mirror.com    huggingface-cli download --resume-download --local-dir-use-symlinks False model_name --local-dir local_dir    
       其中 model_name 是要下载的模型名称,local_dir 是本地存储模型的目录。

  4. 使用 hfd 工具hfdhf-mirror.com 开发的专用下载工具,基于 git+aria2,可以稳定下载不断线。可以下载 hfd 脚本并使用它来下载模型:
       bash    wget https://hf-mirror.com/hfd/hfd.sh    chmod a+x hfd.sh    export HF_ENDPOINT=https://hf-mirror.com    ./hfd.sh model_name --tool aria2c -x 4    
       其中 model_name 是要下载的模型名称。

以上方法中,设置环境变量通常是最简单且有效的方式,因为它不需要修改系统级别的配置,而且可以针对特定的命令或脚本进行设置。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/正经夜光杯/article/detail/943068
推荐阅读
相关标签
  

闽ICP备14008679号