在hf-mirror下载数据集的方式

假设要下载如下的数据集：

• https://hf-mirror.com/datasets/sradc/chunked-shuffled-wikipedia20220301en-bookcorpusopen

需要使用hf-mirror提供的工具hfd来下载，具体使用命令如下：

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
export HF_ENDPOINT=https://hf-mirror.com
./hfd.sh sradc/chunked-shuffled-wikipedia20220301en-bookcorpusopen --dataset --tool aria2c -x 4
1
2
3
4

这样就能将数据集下载到当前目录。

可能会报错缺少aria2c之类的工具，就用linux命令安装一下。

其他下载方法可参考：https://hf-mirror.com/

下载大模型的其他方式见：https://blog.csdn.net/ybdesire/article/details/134204332