如何批量下载hugging face模型和数据集文件_huggingface数据集下载

本文内容

目前网上关于下载hugging face模型文件大多都是一个一个下载，无法做到批量下载，但有些模型或数据集包含文件太多，不适用一个一个下载。本文将会介绍如何使用git进行批量下载。

Git代理配置

由于Hugging Face的部分模型和数据集在国外服务器，不使用代理比较慢，所以要先配置git代理。全局代理配置方式：

git config --global https.proxy http://127.0.0.1:1080
1

只对clone使用代理的配置方式：

git clone XXX.git -c http.proxy="http://127.0.0.1:1080"
1

如果文件太大，可以使用git lfs命令

下载模型或数据集

1. 首先到你需要下载的数据集或模型文件下，复制url.
   

到你所要下载模型或数据集文件后，去掉后面的/tree/main，然后增添.git，之后使用git下载就可以了。

2. 到控制台命令执行如下命令：

git clone https://huggingface.co/datasets/glue.git
1

输出

PS D:\temp> git clone https://huggingface.co/datasets/glue.git
Cloning into 'glue'...
remote: Enumerating objects: 121, done.
remote: Counting objects: 100% (121/121), done.
remote: Compressing objects: 100% (101/101), done.
Receiving objects:  91% (111/121)te: Total 121 (delta 54), reused 0 (delta 0), pack-reused 0
Receiving objects: 100% (121/121), 29.76 KiB | 3.31 MiB/s, done.
Resolving deltas: 100% (54/54), done.
Updating files: 100% (14/14), done.
Filtering content: 100% (10/10), 20.08 KiB | 6.00 KiB/s, done.
1
2
3
4
5
6
7
8
9
10

成功下载文件。

Hugging Face的数据集和模型还提供了不同的版本，要下载其他版本只需要使用git的-b参数下载对应的分支即可。