huggingface下载并加载本地数据集_huggingface下载数据集

具体请看官网Main classes

下载到指定路径数据集：

例如：

from datasets import load_dataset, load_from_disk
books = load_dataset("opus100", "en-zh")
books.save_to_disk('./opus100')  

下载至当前页面的opus100文件夹下

下载后的文件如图所示

加载本地数据集：

ds = load_from_disk("./opus100")

 还可以转变类型

如to_csv、to_pandas、to_dict、to_json等