解决huggingface 在代码因为网络无法下载模型和数据集的问题（伪）_huggingface.co 无法连接怎么下载模型

huggingface的模型下载

其实是用git手动下载
具体的方法：

sudo apt-get update
sudo apt-get install git-lfs
git lfs install 
1
2
3

然后git clone https://huggingface.co/roberta-large

huggingface数据集下载

首先有些数据集也可以通过git下载（那种，打开数据集页面，文件中有数据集本体的，有些数据集文件里只有下载数据集的python脚本文件什么的，这种就不行）

那么只能，挂梯子，或者换一个网络，本地下载，然后上传到服务器：

# 下载并本地存储
from datasets import load_dataset
dataset = load_dataset('super_glue', 'cb', cache_dir='./raw_datasets')
dataset.save_to_disk('superglue_cb')

# 读取本地的文件
from datasets import load_from_disk
raw_dataset = load_from_disk("saved_to_disk/superglue_cb")
1
2
3
4
5
6
7
8