7个顶级开源数据集来训练自然语言处理（NLP）和文本模型_开源 训练集 翻译

推荐：使用 NSDT场景编辑器快速助你搭建可二次编辑的3D应用场景

NLP现在是一个令人兴奋的领域，特别是在像AutoNLP这样的用例中，但很难掌握。开始使用NLP的主要问题是缺乏适当的指导和该领域的过度广度。很容易迷失在各种论文和代码中，试图吸收所有内容。

要意识到的是，当涉及到NLP时，你无法真正学习所有东西，因为它是一个广阔的领域，但你可以尝试取得渐进式的进步。当你坚持不懈时，你可能会发现你知道的比房间里的其他人都多。就像其他所有事情一样，这里的主要事情是采取这些渐进的步骤。

您需要采取的第一步是在数据集上训练您的 NLP 模型。创建自己的数据集是一项繁重的工作，在刚开始时实际上是不必要的。

每天都有无数的开源数据集发布，专注于单词、文本、语音、句子、俚语以及您能想到的任何其他内容。请记住，开源数据集并非没有问题。不幸的是，在抓取任何旧数据集进行测试时，您必须处理偏见、不完整的数据和一系列其他问题。

但是，网上有几个地方在策划数据集方面做得很好，可以更轻松地找到您要查找的内容：

• Papers With Code - 近 5，000 个机器学习数据集被分类且易于查找。
• Hugging Face - 一个很好的网站，用于查找专注于音频、文本、语音和其他专门针对 NLP 的数据集的数据集。

话虽如此，以下列表是我们推荐的一些最佳开源数据集来开始学习 NLP，或者您可以尝试各种模型并按照以下步骤操作。

1. Quora Question Insincerity Dataset

这个数据集非常有趣。在Kaggle上的NLP挑战赛中，我们提供了一个分类数据集，您必须根据问题内容预测问题是否有毒。使这个数据集变得无价的另一件事是各种Kaggle用户的伟大内核。

在同一个数据集上有许多不同的帖子，如果你想从NLP开始，这可能会有很大帮助。

• 文章，深度学习的文本预处理方法，包含适用于深度学习模型的预处理技术，我们在其中讨论增加嵌入覆盖率。
• 在第二篇文章“文本分类的常规方法”中，我们尝试带您了解一些基本的常规模型，如TFIDF，Countvectorizer，哈希等，这些模型已用于文本分类，并尝试访问其性能以创建基线。
• 您可以在注意力、CNN 和文本分类文章中深入研究深度学习模型，该文章侧重于解决文本分类问题的不同体系结构。
• 这里有一个关于使用BERT和ULMFit的迁移学习。

2. Stanford Question Answering Dataset (SQuAD)

斯坦福问答数据集（SQuAD）是源自维基百科文章的问答对的集合。

简而言之，在这个数据集中，我们得到了一个问题和一个文本，其中问题的答案在于。然后的任务是找出文本中答案所在的跨度。此任务通常称为问答任务。

如果您想更深入地研究，请查看通过Hugging Face理解BERT文章，其中分享了如何使用此数据集和BERT模型使用拥抱面孔库预测问题的答案。

3. UCI ML Drug Review Dataset

药物审查使用NLP预测疾病状况，照片由Michał Parzuchowski在Unsplash上拍摄。

你能根据药物审查预测疾病状况吗？UCI ML 药物评论数据集提供特定药物和相关条件的患者评论，以及反映整体患者满意度的 10 星患者评分系统。

该数据集可用于多类分类，如使用深度学习进行端到端多类文本分类中所述，还可以尝试使用各种数字特征以及文本来使用此数据集来解决多类问题。

4. Yelp Reviews Dataset

你喜欢食物，并希望创建一个好的评论网站吗？

这个Yelp数据集让你有Yelp餐厅评论以及其他信息，如JSON格式的类别、营业时间和关门时间。可以尝试解决的问题之一是创建一个系统将菜肴分类。或者将其用于命名实体识别 （NER） 以在评论中找出菜肴。你能找到或创建一个关于Yelp如何获得餐厅评论亮点的系统吗？

这也是理解Yelp业务和搜索的良好数据集。天空是您希望如何使用此数据集的限制。

5. IMDB Movie Dataset

IMDB电影信息的NLP开源数据集，照片由Marques Kaspbrak在Unsplash上拍摄。

寻找下一部要看的电影？此数据集包含来自 IMDB 的 50k 电影的电影描述、平均评分、票数、类型和演员信息。

同样，这个数据集可以以多种方式使用，而不仅仅是从NLP的角度来看。使用此数据集的最常见方法是构建推荐引擎、类型分类和查找类似的电影。

6. 20 Newsgroups

18 个新闻组数据集包含大约 000，<> 个关于 <> 个主题的新闻组帖子。主题多种多样，范围从体育、无神论、政治等。

这是一个多类分类数据集，但您也可以使用此数据集来学习主题建模，如 Python 中使用 Gensim-LDA 进行主题建模中所述。

 

7.IWSLT (International Workshop on Spoken Language Translation) Dataset

这个机器翻译数据集是用于翻译任务的事实标准，包含德语、英语、意大利语、荷兰语和罗马尼亚语的 TED 和 TEDx 演讲的翻译。这意味着您将能够在任意一对这些语言之间训练翻译人员。

另一个好处是可以使用torchtext.datasets通过PyTorch访问它。

如果您想更深入地了解如何使用此数据集来创建自己的转换器，我们将介绍BERT变压器及其工作原理，您还可以了解有关如何使用BERT从头开始创建转换器的更多信息。您可以了解有关NLP的更多信息并解决各种任务，并且还提供了一些可以使用这些数据集解决问题的途径。

原文链接：7个顶级开源数据集来训练自然语言处理（NLP）和文本模型 (mvrlink.com)