手把手教你大模型快速下载！无需魔法_hf mirror下载太慢

模型下载

作者：Datawhale 不要葱姜蒜
项目地址：https://github.com/KMnO4-zx/self_llm.git
如果大家有其他模型想要部署教程，可以来仓库提交issue哦~ 也可以自己提交PR！

hugging face

使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:

pip install -U huggingface_hub
1

然后新建python文件，填入以下代码，运行即可。

• resume-download：断点续下
• local-dir：本地存储路径。（linux环境下需要填写绝对路径）

import os

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
1
2
3
4

hugging face 镜像下载

与使用hugginge face下载相同，只需要填入镜像地址即可。使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:

pip install -U huggingface_hub
1

然后新建python文件，填入以下代码，运行即可。

• resume-download：断点续下
• local-dir：本地存储路径。（linux环境下需要填写绝对路径）

import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
1
2
3
4
5
6
7

更多关于镜像使用可以移步至 HF Mirror 查看。

modelscope

使用modelscope中的snapshot_download函数下载模型，第一个参数为模型名称，参数cache_dir为模型的下载路径。

注意：cache_dir最好为决定路径。

安装依赖：

pip install modelscope
pip install transformers
1
2

在当前目录下新建python文件，填入以下代码，运行即可。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')
1
2
3
4

git-lfs

来到git-lfs网站下载安装包，然后安装git-lfs。安装好之后在终端输入git lfs install，然后就可以使用git-lfs下载模型了。当然这种方法需要你有一点点 Magic 。

git clone https://huggingface.co/internlm/internlm-7b
1