Huggingface 模型及数据下载_git lfs huggingface 模型训练数据集下载

预训练模型下载

https://huggingface.co/
打开网址 在搜索框中搜索需要的模型
git clone 模型地址

安装git-lfs
我使用的archlinux 请根据自己系统版本 安装
yaourt -S git-lfs

打开下载的模型目录 git lfs install
git lfs pull

断点续传（GB级别的仓库常用）
$ git lfs fetch
同步完成之后 执行
git lfs checkout

仅获取指定目录下的 LFS 对象

配置 LFS 下载对象时仅包含images文件夹：

git config lfs.fetchinclude 'images/**'

修改前
git lfs pull
Username for 'https://huggingface.co': fuyaosuixin                                                                                                                                                                                        
Password for 'https://fuyaosuixin@huggingface.co': 
^Cwnloading LFS objects:   0% (0/6242), 1.0 GB | 6.1 MB/s                                                                                                                                                                                 
Exiting because of "interrupt" signal.


修改后
git config lfs.fetchinclude 'zh_meta/**'
[fuyao@fuyaopc OSCAR-2301]$git lfs pull
Username for 'https://huggingface.co': fuyaosuixin                                                                                                                                                                                        
Password for 'https://fuyaosuixin@huggingface.co': 
^Cwnloading LFS objects:   0% (0/753), 3.0 MB | 224 KB/s                                                                                                                                                                                  
Exiting because of "interrupt" signal.





1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22