当前位置:   article > 正文

huggingface数据集无法下载问题解决(以financial_phrasebank金融数据集为例)_无法从hugging face datasets下载数据集为什么

无法从hugging face datasets下载数据集为什么

目录

一、无法下载数据集问题        

二、huggingface加载本地数据集


一、无法下载数据集问题        

        相信小伙伴们,在使用huggingface下载数据集时,总是遇到无法连接的问题,就像下图这样,从网上找了许多方法(使用科学上网的方法或者是配置下载属性最终都失败了),今天给大家提供一些方法,希望能够帮助上大家。

        目前博主使用的方法是手动下载数据集到本地,在本地中加载。下载的方法也很简单,登录官网,Hugging Face – The AI community building the future.点击Datasets -->在Fliter by nan中输入数据集的名字(以financial_phrasebank为例),点击第一个结果,如下图。

     构建数据集使用的代码如下,load_dataset函数第一个参数代表的是数据集名称,第二个参数则是子数据集的名称,这个也可以在huggingface的数据集主页看到,如下图,该数据集共有四个子数据集。

dataset = load_dataset("financial_phrasebank", "sentences_allagree")

        下载下来之后,如果没有特殊情况,直接在代码中调用即可,但是financial_phrasebank下载下来的数据是txt文本格式,并且自带了数据的处理类(下图)。看着代码一大串很吓人,其实是用来下载以及准备数据集的,对于我们已经手动下载数据集下来之后,我们只需要借鉴该代码的数据处理部分(也就是如何将txt的文本分解出来)。

        我把整个代码中处理数据的函数单独拿出来就是下面的内容,可以看到,大概的内容就是将每一行文本将“@”字符前后分离出来。

  1. def _generate_examples(self, filepath):
  2. """Yields examples."""
  3. with open(filepath, encoding="iso-8859-1") as f:
  4. for id_, line in enumerate(f):
  5. sentence, label = line.rsplit("@", 1)
  6. yield id_, {"sentence": sentence, "label": label}

那我们自己就有思路了,并且为了生成huggingface的dataset类型,使用的代码如下:

  1. import datasets
  2. def load_dataset(filepath):
  3. sentences = []
  4. labels = []
  5. with open(filepath, encoding="iso-8859-1") as f:
  6. for line in f:
  7. sentence, label = line.strip().split("@")
  8. sentences.append(sentence)
  9. labels.append(label)
  10. dataset = datasets.Dataset.from_dict({
  11. "sentence": sentences,
  12. "label": labels,
  13. })
  14. return dataset
  15. if __name__ =="__main__":
  16. filepath = "FinancialPhraseBank-v1.0\Sentences_AllAgree.txt"
  17. dataset = load_dataset(filepath)
  18. print(dataset[5])

        这样的话就将数据集成功加载出来了,无论是本地什么类型的数据,都可以很好的转化到datasets格式,这就源于huggingface很强的包容性。 

二、huggingface加载本地数据集

        上述其实本质上是将txt类型转换为字典类型格式,再使用Dataset.from_dict函数来将字典转换为datasets类型,在上一篇博客中,使用了Dataset.from_pandas,来将csv文件转换为datasets格式,见下代码。

  1. train_data = pd.read_csv('data/train_clean.csv')
  2. train_dataset = Dataset.from_pandas(train_data)
  3. class Dataset(torch.utils.data.Dataset):
  4. def __init__(self):
  5. self.dataset = train_dataset
  6. def __len__(self):
  7. return len(self.dataset)
  8. def __getitem__(self, item):
  9. text = self.dataset[item]['text']
  10. label = self.dataset[item]['label']
  11. return text, label
  12. train_dataset = Dataset()

        huggingface的datasets库也为各类实践和从业者提供了帮助,希望这篇博客也能为您提供帮助,如有疑问,请联系博主。        

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/412213
推荐阅读
相关标签
  

闽ICP备14008679号