文本推理_阅读笔记 | 自然语言理解中的常识推理综述

题目：Commonsense Reasoning for Natural Language Understanding - A Survey of Benchmarks, Resources, and Approachs

Authors: Shane Storks, Qianzi Gao, Joyce Y. Chai
Org.: Department of Computers Science and Engineering, Michigan State University
Year: 2019

Abstract

Commonsense Knowledge (CS Know.) 和 Commonsense Reasoning 是机器智能的两大重要瓶颈。

现有的NLP研究中，已经提出了一些需要常识推理的benchmarks和tasks，旨在评估机器获得和学习常识知识的能力。

这篇文章的主要目的是针对NLU的常识推理，提供关于以下四个方面的一个综述：

• 现有的任务和benchmarks
• Knowledge Resources
• Learning and Inference Approachs

关于本篇文章的思维导图：

1.Introduction

Davis and Marcus (2015)^[1]指出常识推理的挑战：spans from difficulties in understanding and formulating commonsense knowledge for specific or general domains to complexities in various forms of reasoning and their integration for problem solving.

现有的研究主要关注如下图所示的几个方面：(在这篇文章中主要关注文本数据源)

2.Benchmarks and Tasks

这章主要介绍一些需要常识推理的benchmarks，以及对构建这类benchmarks的重要要求进行一个总结。

• benchmarks数据集的发展：

2.1 Overivew of Existing Benchmarks

很多常识benchmark数据集都是基于classic language processing问题建立起的，从focused task (共指消解、命名实体识别) 到更理解性的任务和应用。

Benchmarks不应该局限于需要 language processing 能力提升性能的类型，应该更有针对性，更关注某类的常识知识和推理 (或是某几类的混合) 。

将Benchmarks分为6类，分别展开介绍

2.1.1 Coreference Resolution

共指消解是NLU中的一个基本任务，在句子中出现多个代名词或明显复杂的过程时，需要常识知识确定决策。

• 代表数据集：Winograd Schema Challenge (link)

2.1.2 Question Answering

相比于只关注某些特定的语言处理或是推理的任务，QA提供了一种在单个任务中更全面地混合语言处理和推理技巧的benchmark。

contain questions requiring commonsense knowledge alongside question requiring comprehension of a given text.

• 代表数据集：ARC、MCScript、ProPara、MultiRC、SQuADv2、CoQA、OpenBookQA、CommonsenseQA
• ProPara：面向过程性文本，旨在学习目标的追踪和状态变化

2.1.3 Textual Entailment

文本推理任务旨在推理两个句子之间的关系，需要多种语言处理能力（paraphrase）以及object tracking、causal reasoning和常识知识。

• 代表数据集：RTE challenges、SICK、SNLI、SciTail
• RTE knowledge resources: https://aclweb.org/aclwiki/RTE_Knowledge_Resources

2.1.4 Plausible Inference

似然推理：require hypothetica