【tips】huggingface下载模型权重的方法_huggingface权重

方法1：直接在Huggingface上下载，但是要fanqiang，可以git clone或者在代码中：

from huggingface_hub import snapshot_download
# snapshot_download(repo_id="decapoda-research/llama-7b-hf")
snapshot_download(repo_id="THUDM/chatglm3-6b")
1
2
3

方法2：使用modelscope：

pip install modelscope

# 从modelscope上下载模型
from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')
如果你网速很好，下载就很快，如果是kb/s，那么大文件下载会失败。
1
2
3
4
5
6
7

方法3：使用hf的镜像网站，https://hf-mirror.com/baichuan-inc

代码还是使用的huggingface那坨，但是在terminal运行代码时加上HF_ENDPOINT=https://hf-mirror.com：

HF_ENDPOINT=https://hf-mirror.com python  download_data.py
1

注：huggingface的镜像网站下载llama2系列模型如何加认证的信息啊？
加 huggingface access token 就可以下载，wget --header=“Authorization: Bearer <hf_token>” url ，如果是git clone，则提示输密码时输入access token。

方法4：如果是下载数据，也可以使用hf的镜像网站（注意这里需要添加后面的参数--repo-type dataset）：

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --resume-download THUDM/CogVLM-SFT-311K --local-dir cogvlm_sft_311k --repo-type dataset
1

Reference

[1] 不使用梯子下载huggingface模型——使用镜像下载
[2] 如何使用Huggingface镜像