transformer的dataset下载失败load_dataset(“glue“,“mrpc“)_datasets 数据集下载失败

作者：Gausst松鼠会 | 2024-04-06 08:26:14

踩

datasets 数据集下载失败

下载的时候会报错https://huggingface.co/datasets/glue/resolve/main/glue.py这个路径无法下载，但是浏览器是可以打开的
所以，先去官网手动下载文件
在这里插入图片描述
然后让模型去读取，默认是会读取TRANSFORMERS_CACHE中的内容，不过在c盘，换个位置

添加环境变量，（推荐使用RapidEE工具修改环境变量）

名称	值
HUGGINGFACE_HUB_CACHE	D:\data\huggingface\cache\huggingface
TRANSFORMERS_CACHE	D:\data\huggingface\cache\transformers
XDG_CACHE_HOME	D:\data\huggingface\cache

在这里插入图片描述

放到对应的位置（这个资源管理器名字叫OneCommander）
在这里插入图片描述

那么在代码里面这样写就不会报错了

import warnings
warnings.filterwarnings("ignore")
from datasets import load_dataset
import os

raw_datasets = load_dataset(os.environ['TRANSFORMERS_CACHE'] + "\\glue","mrpc")
print(raw_datasets)

1
2
3
4
5
6
7
8

下载结果

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/370815