从huggingface上加载数据集再到本地服务器加载的一种解决办法_huggingface下.cache的内容可以在别的地方加载吗

作者：Gausst松鼠会 | 2024-05-01 16:16:20

踩

huggingface下.cache的内容可以在别的地方加载吗

从huggingface上加载数据集再到本地服务器加载的一种解决办法

由于huggingface的无法连接，导致在加载数据集时，无法通过loaddataset()来直接加载。因此，考虑通过一种从huggingface下载数据集，然后再传到服务器的方式来加载数据。
但是，遇到一种情况如下面所示：
在这里插入图片描述
并没有直接给出可以下载的数据集。
解决办法：
在dataset card页面的右侧（红框内）有github链接，数据集可以在github上下载，并传到服务器上。

然后，将files and version页面中的.py文件一并传到服务器上（和数据集在同一个文件夹内）。
在这里插入图片描述

最后就可以通过load_dataset(“./数据集文件夹名”)就可以读取数据了

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/519657