【huggingface网络问题】用 Git LFS（Large File Storage）解决huggingface大文件下载的问题_huggingface lfs

用了各种方法都没办法用pretrianed在python代码中下载模型，只好手动下载了。记录一个下载大文件的方法。

使用 Git LFS（Large File Storage）可以解决大文件下载的问题。以下是如何使用 Git LFS 手动下载 Hugging Face 模型文件的步骤：

安装 Git LFS

首先，确保你已经安装了 Git LFS。如果没有安装，可以按照以下步骤进行安装：

在 Linux 上安装 Git LFS

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo
sudo apt-get install git-lfs
1
2

初始化 Git LFS

安装完成后，需要初始化 Git LFS：

git lfs install
1

克隆 Hugging Face 模型仓库

以 stabilityai/stable-diffusion-2-1-base 模型为例，使用以下命令克隆仓库：

git clone https://huggingface.co/stabilityai/stable-diffusion-2-1-base
1

验证下载的文件

确保所有大文件已经正确下载：

cd stable-diffusion-2-1-base
git lfs pull
1
2

在代码中使用本地文件
假设您已经下载了模型文件，可以在代码中指定本地路径来加载模型。例如：

from transformers import AutoTokenizer, AutoModel

# 指定本地路径
model_name_or_path = "./stable-diffusion-2-1-base"

# 加载 tokenizer 和模型
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModel.from_pretrained(model_name_or_path)

# 打印模型信息
print(model)
1
2
3
4
5
6
7
8
9
10
11