当前位置:   article > 正文

使用Huggingface镜像站hf-mirror.com下载资源_hfmirror

hfmirror

前言

在使用Huggingface的过程中,有时我们可能会遇到无法访问官方网站huggingface.co的情况,这可能是由于网络监管或者网络连接问题所致。然而,幸运的是,我们可以通过hf-mirror.com这个Huggingface镜像站来解决这个问题。本篇博客将详细介绍hf-mirror.com网站的内容和使用方法。
在这里插入图片描述

hf-mirror.com是什么?

hf-mirror.com是Huggingface的镜像网站,它提供了一个备用的域名来访问Huggingface的资源和功能。它的作用类似于一个代理服务器,可以帮助我们绕过无法访问huggingface.co的限制,正常地获取所需的模型和数据集。

hf-mirror.com的特点和优势

  • 支持断点续传:使用hf-mirror.com下载模型时,如果网络中断,我们可以通过断点续传功能避免文件损坏,从而节省时间和流量。
  • 多文件并行下载:hf-mirror.com默认支持多文件并行下载,这意味着我们可以更快地下载所需的模型和数据集。
  • 支持Gated Model下载:对于需要登录的模型(Gated Model),我们可以通过添加–token hf_***参数来进行下载,其中hf_***是访问令牌,可以在huggingface官网获取。

使用hf-mirror.com下载模型的步骤

  • 安装依赖:首先,我们需要安装huggingface-cli命令行工具,可以使用以下命令进行安装:pip install -U huggingface_hub
  • 设置镜像endpoint:在下载模型之前,我们需要设置镜像endpoint,可以使用以下命令进行设置:export HF_ENDPOINT=https://hf-mirror.com
  • 下载模型:使用huggingface-cli的download命令可以下载模型,例如:huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

其他使用方式

  1. 下载需要登录的模型以及使用脚本下载等方法详见参考链接[2]。
  2. 根目录.cache空间不足时使用--cache-dir传参更改下载缓存路径,例如:
 huggingface-cli download --resume-download --local-dir-use-symlinks False stabilityai/stable-diffusion-xl-base-1.0 --local-dir stabilityai --cache-dir stabilityai.cache
  • 1
  1. 使用Python脚本下载时,在import huggingface库相关语句之前执行环境设置。
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from huggingface_hub import hf_hub_download
  • 1
  • 2
  • 3
  1. 更多功能支持可查阅 huggingface-cli download --help

总结

hf-mirror.com是Huggingface的镜像网站,为用户提供了一个备用的访问通道,解决了无法访问huggingface.co的问题。通过hf-mirror.com,我们可以正常地下载所需的模型和数据集,享受Huggingface提供的强大功能。

版权说明

本文为原创文章,部分内容基于GPT工具撰写,独家发布在blog.csdn.net/TracelessLe。未经个人允许不得转载。如需帮助请email至tracelessle@163.com或扫描个人介绍栏二维码咨询。
在这里插入图片描述

参考资料

[1] 如何看待huggingface.co已无法访问? - 知乎
[2] hf-mirror.com - Huggingface 镜像站
[3] 第十五篇-推荐-Huggingface-镜像-2023-10_huggingface镜像-CSDN博客
[4] huggingface stabilityai/stable-diffusion-xl-base-1.0
[5] 如何快速下载huggingface大模型

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/196944
推荐阅读
  

闽ICP备14008679号