通过aliendao进行HF模型和数据集下载

1. 概述

因为HuggingFace的无法访问（2023年9月期间，有VPN仍然不行，不知道原因），很多模型和数据集无法下载，搜索终于找到aliendao的HF镜像站，可以下载。

官网：互链高科

github：https://github.com/git-cloner/aliendao

2. 本地部署

1）下载代码

https://github.com/git-cloner/aliendao.git

2）利用conda建立虚拟环境，并安装依赖

conda create -n aliendao python=3.10 -y
conda activate aliendao
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host=pypi.mirrors.ustc.edu.cn

3）选择模型下载

conda activate aliendao
# 下载模型，带上mirror优先从镜像下载
python model_download.py --repo_id 模型ID --mirror
# 举例
python model_download.py --repo_id baichuan-inc/Baichuan-7B --mirror
# 下载数据集
python model_download.py --repo_id 数据集ID --repo_type dataset --mirror
# 举例
python model_download.py --repo_id tatsu-lab/alpaca --repo_type dataset --mirror