跳跃NLP曲线：自然语言处理研究综述（二）（翻译）_minsky等人根据认知理论提出了有关阅读理解的观点

2. 背景

自1950年成立以来，NLP研究就主要集中于任务上，比如机器翻译、信息检索、文本摘要、问答系统、信息提取、主题建模和最近的意见（opinion)挖掘。许多的NLP早期开展的研究主要集中在语法上，部分原因是句法处理显然是必要的，部分是通过隐含或明确认可语法驱动处理的思想。

虽然NLP的语义问题和需求从一开始就很清楚，研究界采用的策略是首先解决语法问题，以便更直接地应用机器学习技术。然而，有些研究人员专注于语义学，因为他们认为这是一个非常具有挑战性的问题，或者认为语义驱动的处理是一种更好的方法。因此，Masterman和Ceccato的团队，比如，利用语义类别和语义案例框架开发语义模式匹配，特别是Ceccato的作品，世界知识被用来拓展语言语义，以及语义网络作为知识表示的设备。最近的工作认识到在解释和回应语言输入方面需要外部知识，并明确强调了通用语义形式的语义，其中包括用于表示和语义驱动处理的案例结构。

从那时起，最受欢迎的表现策略之一就是一阶逻辑（FOL），演绎系统由公理和推论规则组成，可用于形式化关系丰富的谓词和量化。FOL支持语法、语义和某种程度上的语法表达。语法指定符号组的排列方式，这样就可以认为符号组是正确形成的。语义指定了格式良好的表达式应该是什么意思。语用学指定如何利用上下文信息来提供不同语义之间更好的相关性，这对于词义消歧等任务至关重要。然而，已知逻辑具有单调性的问题。随着信息被添加到知识库中，所包含的句子集将会增加，但是这有可能违反人类推理的共同属性—改变自己思想的自由和灵活性。默认和线性逻辑等解决方案可用于解决部分问题。Raymond Reiter提出了默认逻辑来规范默认假设，例如，“所有的鸟都会飞”。但是，当默认逻辑在形式化大多数情况下都是正确的事实，但在这些“一般情况”的例外情况下是错误的时候，就会出现问题，例如“企鹅不会飞”。

另一种用于描述自然语言的流行模型是生产规则。生产规则系统保持正在进行的内存断言的工作内存。这个工作内存是易失性的，反过来又保留了一组生产规则。生产规则包括先前条件集和随后的一组动作。（即，IF<条件>THEN<行动>）。生产规则系统的基本操作涉及三个步骤（‘识别’，‘解决冲突’，‘行动’）的循环，这三个步骤不断重复，直到不再有规则适用于工作内存。步骤‘识别’标识当前工作记忆满足其先行条件的规则。确定的规则集也被称为冲突集，步骤‘解决冲突’查看冲突集并选择一组合适的规则来执行。步骤‘行动’简单地执行动作并更新工作记忆。生产规则是模块化的。每一条规则都独立于其它规则，允许轻松添加和删除规则。生产规则系统具有简单的控制结构，并且人们可以容易地理解规则。这是因为规则通常源于对专家行为或专家知识的观察，因此编码规则时使用的术语倾向与人类理解产生共鸣。但是，当生产规则系统变得更大时，可拓展性存在问题。一个具有数千条规则的系统需要大量的维护。

另一个突出的NLP模型的例子是本体Web语言（OWL），一种基于XML的词汇表，扩展了资源描述框架（RDF），为本体表示提供了更全面的集合，例如类的定义，类之间的关系，类的属性，以及类与其属性之间关系的约束。RDF支持subjec-predicate-object模型，这使得关于某一类资源的断言。基于RDF开发的推理引擎检查语义一致性，有助于改进本体分类。通常，OWL需要严格定义静态结构，因此不适合表示包含主观置信度的知识。相反，它更适合表示声明性知识。另外，OWL的另一个问题是它不允许容易地表示依赖于时间的知识。

网络是另一种众所周知的做NLP的方式。比如，贝叶斯网络（也称为信念网络）提供了一种在许多相互关联的假设上表达联合概率分布的方法。使用有向无环图（DAG）表示所有的变量。弧是两个变量之间的因果关系，前者的真实性直接影响后者的真实性。贝叶斯网络能够表示主观置信度。该表述明确地探索了先验知识的作用，并结合了事件可能性的证据。为了计算信念网络的联合分布，需要知道每个变量P的Pr（P |父（P））。但很难确定信念网络中每个变量P的概率。因此，也难以增强和维护大规模信息处理问题的统计表。贝叶斯网络的表达能力也有限，这只相当于命题逻辑的表达能力。出于这个原因，语义网络更常用于NLP研究。

语义网络是用于表示互连节点和弧的模式中的知识的图形符号形式。定义网络中专注于概念与新概念之间的IsA关系。这种结构的结果称为泛化，反过来，它支持将为超类型定义的属性复制到其所有子类型的继承规则。定义网络中的信息通常被认为是真实的。另一种语义网络是断言网络，它旨在断言命题，并且假定它包含的信息是偶然真实的。应用默认逻辑并不能达到达到偶然事实。相反，它更多地基于人们的常识应用。命题也有充分的理由，其中的原因需要命题，例如，“石头很温暖”。充分的理由是“太阳照在石头上”和“阳光照射下的是温暖的”。

语义网络的概念出现在20世纪60年代早期的Simmons和Quillian，并在20世纪80年代后期由Marvin Minsky在他的心理学会理论中进一步发展，根据这一点，人类智慧的神奇源于我们广泛的多样性—而不是任何单一的，完美的原则。Minsky理论认为，心灵是由许多小部分构成的，他称之为‘代理人’，每个部分都是盲目的，但在共同工作时能够带来真正的智慧。这些代理人或代理人组负责执行某种类型的职能，如记忆，比较，概况，例证，类比，简化，预测，等等。

Minsky的人类认知理论尤其受到人工智能（AI）社区的极大热情的欢迎，并催生了许多为NLP任务建立常识知识库的尝试。最具代表性的项目是：Cyc，Doug Lenat基于逻辑的常识知识库。WordNet，Christiane Fellbaum通用的词义数据库。Thought-Treasure，Erik Mueller的故事理解系统。和the Open Mind Common Sense项目，第二代常识数据库。最后一个项目脱颖而出，因为知识中自然语言（不是基于正式的逻辑结构）和信息不是由专业工程师手工制作，而是由在线志愿者自发插入。今天，the Open Mind Common Sense项目收集的常识知识被用于许多不同的NLP任务，如文本影响感知，随意的对话理解，意见挖掘，讲故事，等等。

表格1 知识表示和NLP研究中最受欢迎的思想流派