第二章 HuggingFace数据集使用介绍

作者：花生_TL007 | 2024-03-06 07:46:07

踩

HuggingFace数据集介绍

地址：https://huggingface.co/datasets

点击某个数据集可以看到详细介绍，数据集多以英语为主

数据集的使用

加载数据集

#加载数据集
from datasets import load_dataset
#HuggingFace数据集工具加载数据往往只需一行代码'seamew/ChnSentiCorp'为数据集名称
dataset = load_dataset(path='seamew/ChnSentiCorp')
dataset
1
2
3
4
5

注意：由于HuggingFace把数据集存储在谷歌云盘上，在国内加载时可能会遇到网络问题，推荐国内镜像站
地址：https://hf-mirror.com/

使用国内镜像下载数据集：
1、需要使用huggingface-cli进行下载，
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】