论文笔记丨FewRel 2.0: Towards More Challenging Few-Shot Relation Classification_论文笔记fewrel 2.0: towards more challenging few-shot

作者：凯
单位：燕山大学

code:https://github.com/thunlp/fewrel
paper:https://www.aclweb.org/anthology/D19-1649.pdf

问题

小样本关系分类有两个挑战：

1. 只有少量实例的情况下，模型是否可以使用新的领域
2. 模型是否可以探索新的关系(以上都不是， none-of-the-above)

我们在测试集中增加了一些新领域的数据得到了FewRel2.0数据集。我们的研究要求更多地关注和进一步努力这两个问题。

介绍

小样本学习，只根据少量训练实例这需要模型处理新的分类任务，近年来引起了很多关注。我们提出了FewRel2.0数据集。

表中展示了一个2way1shot 的例子，其中蓝色代表头实体，红色代表尾实体。该数据集包含两个内容。(1)小样本的域自适应。(2)对以上都不是任务的推理。

该图说明了当前最好的小样本算法在两个任务上的差距。

Few-shot domain adaptation(few-shot DA)：在FewRel数据集的基础上增加了一些跨领域的数据，(这是由于FewRel1.0是来自WIKI数据集上，2.0是融合了多个数据集)
Few-shot none-of-the-above detection (fewshot NOTA)：最初的N-way K-shot任务是N个类别，每个类别K个实例，接着判断查询集所属于的类别（假设全部都在N类中）。在小样本NOTA任务中，查询集的实例不一定属于关系N类中。这就带来了很大的挑战。鉴于之前没有人研究相关问题，仍有很大探索空间。

FewRel 2.0

原始的FewRel数据集的训练和测试集都是通过手动标注，来自Wikidata数据集。换句话说，它们来自同一个域，但在真实的场景中，我们可能会在一个域上训练模型，并在不同的域中进行Few-shot的学习。例如，我们可以在维基百科培训大量数据和充分注释的模型，然后在数据稀疏性的一些域名，如文学，金融和医学等域名进行少量学习。注意，这些数据集不仅可以在形态和语法中彼此差异很大，但在这些域上定义的关系集之间也存在很多差异，这使得在不同域中的传输知识更具挑战性。
所以我们使用FewRel1.0作为训练集， (Hendrickx et al.,2009) 的数据集作为验证集，人工重新标注一个新的测试集，因为他们均来自不同的域。
以上都不是任务的推理：关系集定义是