如何修改hugging face的模型默认下载地址_hugging face load_dataset更改保存地址

huggingface的默认下载路径在~/.cache/huggingface/hub/，但模型数据占用空间往往很大，可以用以下方法修改默认下载路径。

方法一：在linux中指定环境变量

export HF_DATASETS_CACHE="/disk/cache/"
export HF_HOME="/disk/cache/"
export HUGGINGFACE_HUB_CACHE="/disk/cache/"
export TRANSFORMERS_CACHE="/disk/cache/"
1
2
3
4

方法二：在代码中指定环境变量

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "1"
os.environ["HF_DATASETS_CACHE"] = "/disk/cache/"
os.environ["HF_HOME"] = "/disk/cache/"
os.environ["HUGGINGFACE_HUB_CACHE"] = "/disk/cache/"
os.environ["TRANSFORMERS_CACHE"] = "/disk/cache/"
1
2
3
4
5
6