【论文泛读44】BoolQ：探索自然是/否问题的惊人难度

贴一下汇总贴：论文阅读记录

论文链接：《BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions》

github

一、摘要

在本文中，我们研究是自然发生的是/否问题—表示它们是在无提示且不受限制的情况下生成的。我们建立了此类问题的阅读理解数据集BoolQ，并表明它们出乎意料地具有挑战性。他们经常查询复杂的，非事实的信息，并且需要困难的类似蕴含的推理来解决。我们还探讨了一系列迁移学习基准的有效性。我们发现从包含数据传输比从释义或提取质量检查数据传输更有效，而且令人惊讶的是，即使从庞大的经过预训练的语言模型（例如BERT）开始，它仍然继续非常有益。我们最好的方法是在MultiNLI上训练BERT，然后在我们的火车上对其进行重新训练。达到80。

二、结论

我们引入了BoolQ，这是一个新的阅读理解数据集，包含自然出现的是/否问题。我们已经表明，这些问题具有挑战性，需要广泛的推理能力来解决。我们还研究了迁移学习在这项任务中的表现，并发现即使在语言模型预训练的基础上，也可以利用人群来源的蕴涵数据集来提高性能。未来的工作可能包括建立这一任务的文档级版本，这将增加其难度及其与最终用户应用程序的对应性。

yes/no questi