当前位置:   article > 正文

huggingface_hub 设置国内镜像_huggingface 国内镜像

huggingface 国内镜像

要设置HuggingFace Hub的国内镜像,你可以按照以下步骤进行操作,以确保从国内镜像站点下载Hugging Face模型和数据集。

1. 安装依赖

首先,确保你已经安装了huggingface_hub库。如果没有,可以通过pip进行安装:

 

bash复制代码

pip install -U huggingface_hub

2. 设置环境变量

永久设置(推荐)

对于Linux或macOS系统,你可以在.bashrc.bash_profile.zshrc等shell配置文件中添加以下行来永久设置环境变量:

 

bash复制代码

export HF_ENDPOINT=https://hf-mirror.com

然后,你需要使这些更改生效:

 

bash复制代码

source ~/.bashrc # 或者 source ~/.bash_profile, source ~/.zshrc 等

对于Windows系统,你可以通过“系统属性”中的“环境变量”来设置HF_ENDPOINT环境变量。

临时设置

如果你只想在当前终端会话中设置环境变量,可以直接在命令行中输入:

对于Linux或macOS:

 

bash复制代码

export HF_ENDPOINT=https://hf-mirror.com

对于Windows(PowerShell):

 

powershell复制代码

$env:HF_ENDPOINT = "https://hf-mirror.com"

3. 使用Hugging Face CLI工具下载模型和数据集

一旦设置了环境变量,你就可以使用Hugging Face CLI工具来下载模型和数据集了。例如:

 

bash复制代码

huggingface-cli download --resume-download --local-dir gpt2 gpt2

这条命令将会从国内镜像站点下载GPT-2模型,并将其保存在本地的gpt2目录中。

4. (可选)设置访问令牌(Token)

对于某些受限访问的模型,你可能需要提供Hugging Face账户的访问令牌(Token)才能下载。你可以在Hugging Face官网的个人设置中找到这个Token,并将其添加到你的Python脚本或环境变量中。但是,请注意,这通常不是必需的,除非你正在尝试下载受限的模型。

5. 注意事项

  • 确保你的网络连接正常,以便从国内镜像站点成功下载内容。
  • 如果你在使用虚拟环境,确保在相应的虚拟环境中安装huggingface_hub库并设置环境变量。
  • 如果你在脚本中设置环境变量,请确保在导入任何Hugging Face库之前设置它。
  • 如果你遇到任何问题或错误消息,请查阅Hugging Face官方文档或社区论坛以获取更多帮助。
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/一键难忘520/article/detail/955177
推荐阅读
相关标签
  

闽ICP备14008679号