自然语言理解(摘自中南大学课件)

8.2 句法和语法的自动分析
　　我们知道了语言分析和理解可分为5个层次，本节将讨论其中的句法和语法的自动分析问题。
8.2.1 句法模式匹配和转移网络
　　句法模视匹配就是采用句法模式来对语言的句子进行匹配从而进行的句法分析。但是自然语言是非常多样化的，因而需要有许多模式。这些模式可用状态转移图来表示，这种用状态转移图来表示的表达方式称之为转移网络（TN，transition network）。如图8.2所示，图中，q₀,q₁,…，q_T是状态，q₀是初态，q_T是终态。弧上给出了状态转移的条件以及转移的方向。该网络可用于分析句子也可用于生成句子。用TN来识别句子The little orange ducks swallow flies 的过程如表8.1。

这里忽略了词法分析，网络如图8.3所示。

　　识别过程到达f状态(终态)，所以该句子被成功地识别了。分析结果如图8.4所示。从上述过程中可以看出，这个句子还可以在网络中走其他弧，如词ducks也可以走弧，但接下来的swallow就找不到合适的弧了。此时对应于这个路径，该句子就被拒识了。由此看出，网络识别的过程中应找出各种可能的路径，因此算法要采用并行或回溯机制。

　　1.并行算法
　　并行算法的关键是在任何一个状态都要选择所有可以到达下一个状态的弧，同时进行试验。
　　2.回溯算法
　　回溯算法则是在所有可以通过的弧中选出一条往下走，并保留其他的可能性，以便必要时可回过来选择之。这种方式需要一个堆栈结构。

8.2.2 扩充转移网络
　　扩充转移网络ATN是由伍兹(Woods)在1970年提出的，1975年卡普兰( Kaplan)对其作了一些改进。ATN是由一组网络所构成的，每个网络都有一个网络名，每条弧上的条件扩展为条件加上操作。这种条件和操作采用寄存器的方法来实现，在分析树的各个成分结构上都放上寄存器，用来存放句法功能和句法特征，条件和操作将对它们不断地进行访问和设置。ATN弧上的标记也可以是其他网络的标记名，因此ATN是一种递归网络。在ATN中还有一种空弧jump，它不对应一个句法成分也不对应一个输入词汇。
　　ATN的每个寄存器由两部分构成：句法特征寄存器和句法功能寄存器。在特征寄存器中，每一维特征都有一个特征名和一组特征值，以及一个缺省值来表示。如"数"的特征维可有两个特征值"单数"和"复数"，缺省值可以是空值。英语中动词的形式可以用一维特征来表示：
功能寄存器则反映了句法成分之间的关系和功能。
　　分析树的每个节点都有一个寄存器，寄存器的上半部分是特征寄存器，下半部分是功能寄存器。图8.5所示是一个简单的名词短语(NP)的扩充转移网络，网络中弧上的条件和操作如下： NP-1：fg
    A：Number*Number
NP-4：gNounh
    C：Number=* Number or φ
    A：Number* Number
NP-5：fpronounh
    A：Number*Number
NP-6：fproperh
    C：Number=* Number or φ　　该网络主要是用来检查NP中的数的一致值问题。其中用到的特征是Number(数)，它有两个值Singular(单数)和plural(复数)，缺省值是φ(空)。C是弧上的条件，A是弧上的操作，*是当前词，proper是专用名词，Det是限定词，PP是介词短语，*Number当前词的"数"。该扩充转移网络有一个网络名NP。网络NP可以是其他网络的一个子网络，也可包含其他网络，如其中的PP就是一个子网络，就这是网络的递归性。弧NP-1将当前词的Number放入当前NP的Number中，而弧NP-4则要求当前noun的Number与NP的Number是相同时，或者NP的Number为空时，将noun作为NP的Number，这就要求det的数和noun的数是一致的。因此，this book，the book，thebooks，these books都可顺利通过这一网络，但是this books，或these book就无法通过。如果当前NP是一个代词(Pron.)或者专用名词(Proper)，那么网络就从NP-5或NP-6通过，这时NP的数就是代词或专用名词的数。PP是一个修饰前面名词的介词短语，一旦到达PP弧就马上转入子网络PP。
　　图8.6是一个句子的ATN，主要用来识别主、被动态的句子，从中可以看到功能寄存器的应用。S网络中所涉及的功能名和特征维包括：
Subject(主语)，Direct Obj(直接宾语)， Main-Verb(谓语动词) Auxs(助动词)， Modifiers(修饰语)。 Voice(语态)：Active(主动态)，Passive(被动态)，缺省值是Actire Type(动词类型)： Type(动词类型)：Be,Do,Have,Modal,Non-Aux,缺省值是Non-Aux。 Form(动词式)：Inf(不定式)，Present(现在式)，Past(过去式)，pres-part(现在分词)，Past-Part(过去分词)，缺省值是Present。 　　当然作为一完整的ATN是相当复杂的，在实现过程中还必须解决许多问题，如非确定性分析、弧的顺序、非直接支配关系的处理等等。ATN方法在自然语言理解的研究中得到了广泛的应用。
8.2.3 词汇功能语法(LFG)
　　词汇功能语法是由卡普兰和布鲁斯南(Bresnan)在1982年提出的，它是一种功能语法，但是更加强调词汇的作用。LFG用一种结构来表达特征、功能、词汇和成分的顺序。ATN语法和转换语法都是有方向性的，ATN语法的条件和操作要求语法的使用是有方向的，因为寄存器只有在被设置过之后才可被访问。LFG的一个重要工作就是通过互不矛盾的多层描述来消除这种有序性限制。
　　LFG对句子的描述分为两部分：直接成分结构(Constituent Structure,简称C-Structure)和功能结构(Functional Structure,简称F-structure)，C-structure是由上下文无关语法产生的表层分析结果。在此基础上经一系列代数变换产生F-structure。LFG采用两种规则：加入下标的上下文无关语法规则和词汇规则。表8.2给出了一些词汇功能语法的规则和词条，其中↑表示当前成分的上一层次的直接成分，如规则中NP的↑就是S，VP的↑也是S；↓则表示当前成分。因此，(↑Subject)=↓就表示S的主语是当前NP。"＜＞"中表达的是句法模式，'Hand=＜(↑Subject),(↑Object)，(↑Object-2)＞，表示谓语动词hand要有一个主语、一个直接宾语和一个间接宾语。
　　用LFG语法对句子进行分析的过程如下：
　　　(1)用上下文无关语法分析获得C-structure，不考虑语法中的下标；该C-structure就是一棵直接成分树；
　　　(2)将各个非叶节点定义为变量，根据词汇规则和语法规则中的下标，建立功能描述(一组方程式)；
　　　(3)对方程式作代数变换，求出各个变量，获得功能结构F-structure。
　　上述过程如果能够得到一组以上解，则句子就是可识别的，并获得一个以上分析结果。分析获得多个解则说明原句子中存在着歧义现象，无解则说明无法识别。图8.7就是句子A girl handed her baby the toys的分析过程。方程的建立只要将↑用父节点变量来替代，↓用当前节点来代替即可。规则S→NP VP的下标有两组：一是(↑Subject)=↓，替换得到(x1∨Subject)=x2；另一是↑=↓即x1=x3。方程式(x1∨Subject)=x2的意义就是"x1的主语是x2"，因此，上面两个方程式直接可用方程变换得到x1=x3=[Subject=x2]。在词汇规则中，词a对应了两条规则(↑Definiteness)=Indefinite,(↑Number)=Singular,词a的父节点就是NP，即x2，所以得到方程式(x₂Definiteness)=Indefinite,(x₂Number)= Singular。上述方程式通过解的合并和替代最终就可以获得中的F-structure。
　　LFG同样也可以用于句子的生成。分析和生成的区别仅在于第一步，分析是由句子到C-structure,而生成则是由上下文无关语法直接产生C-structure和句子。同样如果通过求解最终可有一个以上的解，则该句子就是正确的。
8.2.4 语义的解析
　　建立句法结构只是语言理解模型中的一个步骤，进一步则要求获得语言所表达的意义。第一步是要确定每个词在句子中所表达的词义，这涉及到词义和句法结构上的歧义问题，如英语词go可有50种以上的意义。但即使一个词的词义很多，在一定的上下文条件下，在词组中，其意义通常是唯一的。这是由于受到了约束的原因。这种约束关系可以用一个逻辑形式来表示，通过这种逻辑形式来获得词义和句子的意义。第二步则更为复杂，那就是要根据已有的背景知识来确定语义，这就需要进一步的推理从而得出正确的结果。如已知"张经理开车去了商店"，要回答"张经理是否坐进汽车?"这样的问题，就首先要从"开车"这个词义中得出"开车"与"坐进汽车"这两个概念之间的关系，只有这样才能正确地回答这个问题。
　　逻辑形式表达是一种框架式的结构，它表达一个特定形式的事例及其一系列附加的事实，如"Jack kissed Jill"，可以用如下逻辑形式来表达：
它表达了一个过去的事例S1。PAST是一个操作符，表示结构的类型是过去的，S1是事例的名，KISS-ACTION是事例的形式，AGENT和THEME是对象的描述，有施事和主位。
　　逻辑形式表达对应的句法结构可以是不同的，但表达意义应当是不变的。the arrival of George at the station 和George arrived at the station在句法上一个是名词短语，而另一个是句子，但它们的逻辑形式是相同的。
在句法结构和逻辑形式的定义基础上，就可以运用语义解析规则，从而使最终的逻辑形式能有效地约束歧义。解析规则也是一种模式的映射变换。
+animate +action-verb)这一模式可以匹配任何一个有一个动作和一个有生命的主语体的句子。映射规则的形式为：
其中?表示尚无事件的时态信息，*代表一个新的事例。如果有一个句法结构： ran TDE the HEAD man) past)运用上述映射(这里假设NP的映射是用其他规则)得到：
　　　　　　　　　　　　　　　　(? r1 RUN1 [AGENT (DEF/SING m1 MAN)])
时态信息可采用另一个映射规则：
　　　　　　　　　　　　　　　　(S TENSE past)→(PAST ? ?)
合并上述的映射就可最终获得逻辑形式表示：
这里只是一个简单的例子。在规则的应用中，还需要有很多的解析策略。
8.3 语言理解
　　句子一般有简单句和复合句之分。简单句的理解比复合句要容易，又是理解复合句的基础。因此，我们首先讨论简单句的理解，然后讨论复合句的理解。
8.3.1. 简单句的理解方法
　　由于简单句是可以独立存在的，因而为了理解一个简单句，即建立起一个和该简单句相对应的机内表达，需要做以下两方面的工作：
　　　　　　　　　　　　(1) 理解语句中的每一个词。
　　　　　　　　　　　　(2) 以这些词为基础组成一个可以表达整个语句意义的结构。
　　第一项工作看起来很容易，似乎只是查一下字典就可以解决。而实际上由于许多单词有不止一种含义，因而只由单词本身往往不能确定其在句中的确切含义，需要通过语法分析和上下关系等才能最终确定。例如，单词diamond有"菱形"、"棒球场"和"钻石"三种意思，在语句"John saw Susan′s diamond shimmering from across the room." 中，由于"shimmering"的出现，则显然"diamond"是"钻石"的含义，因为"菱形"和"棒球场"都不会闪光。再如在语句"I′ll meet you at the diamond." 中，由于"at"后面需要一个时间或地点名词作为它的宾语，因而显然这里的"diamond"是"棒球场"的含义，而不能是其它含义。
　　第二项也是一个比较困维的工作。因为要联合单词来构成表示一个句子意义的结构，需要依赖各种信息源，其中包括所用语言的知识、语句所涉及领域的知识以及有关该语言使用者应共同遵守的习惯用法的知识。由于这个解释过程涉及到许多事情，因而常常将这项工作分成以下3个部分来进行：
　　句法分析 将单词之间的线性次序变换成一个显示单词如何与其它单词相关联的结构。
　　语义分析 各种意义被赋于由句法分析程序所建立的结构，即在句法结构和任务领域内对象之间进行映射变换。
　　语用分析 为确定真正含义，对表达的结构重新加以解释。
　　实际上这3个阶段之间是相互关联的，总是以各种方法相互影响着。尽管在某种程度上把它们分开是有效的，但绝对分开是不可能的。
　　1.关键字匹配法
　　最简单的自然语言理解方法，也许要算是关键字匹配法了，它在一些特定场合下是有效的。其方法简单归纳起来是这样的：在程序中规定匹配和动作两种类型的样本。然后建立一种由匹配样本到动作样本的映射。当输入语句与匹配样本相匹配时，就去执行相应样本所规定的动作，这样从外表看来似乎机器真正实现了能理解用户问话的目的。例如在一个列车运行数据库系统中，规定了以下几个匹配样本：
　　　　(a) 从<处所>到<处所>有<车种>吗?
　　　　(b) 从<处所>到<处所>有<? 数量><车种>?
　　　　(c) 从<处所>到<处所>有<? 指数量><车种>?
　　　　(d) <车次>在<处所>停吗?
　　　　(e) <车次>经过<处所>吗?
　　　　(f) <车次>有<车组>吗?
　　　　(g) 到<处所>的<车种>都有<车组>吗?
　　　　(h) <车次><? 原因>没有<车组>?
　　　　(i) <车次><? 原因>有<车组>?
　　　　(j) <车次><? 时刻>从<处所>开出?
　　　　(k) <车次><? 时刻>到达<处所>?
　　　　(l) 从<处所>到<处所><?指数量><车次>最快?
　　其中，<…>可与任何具有规定特性的单词匹配，如<处所>可以和"北京"、"上海"等表示地点的单词匹配；<车种>可以和"特快"、"直快"等匹配；<?数量>可与"几趟"等匹配；<?指数量>可与"哪几趟"等匹配；<车组>可与"餐车"、"卧铺"等匹配，<?原因>可与"为什么"、"怎么"等匹配；<?时刻>可与"什么时候"、"几点"等匹配。
如果你输入
　　　　　　　　　　　　从北京到上海有特快吗?
该语句刚好与第一个匹配样本相匹配，从而系统也就"理解"了你的问话，并去检索数据库，查看从北京到上海是否有特快，然后给出回答。
　　这种关键字匹配的方法，在类似的数据库咨询系统中作为自然语言接口，显得特别有效，虽然它不具有任何意义下的理解。
2.句法分析树法
　　关键字匹配法虽然简单，但却忽略了语句中的大量信息，为确保语句含义的细节不被忽略，必须确定其语句结构上的细节，这就是要进行文法分析。为此，必须首先给出说明该特定语言中符号串结构的文法，以便为每个符合文法规则的语句产生一个称为文法分析树的结构。
　　关于文法的形式，在许多自然语言处理程序中提出过很多各不相同的定义，作为一个例子，下面我们给出一种文法的形式化定义。
　　文法G在其形式上为如下的四元组：
其中，V为有穷非空集，称作总词汇表；Σ为V的一个非空子集，称作终结字母表，而N=V-Σ称作非终结字母表；P为如下形式的有穷产生式集：
式中，α∈Ｖ*NV*，β∈V*，*表示它前面的字符可以重复出现任意次；S为非终结字母表的一个元素，称为起始符。下面给出的是一个英语子集的简单文法： 　　 SNP VP
　　 NPthe NP1
　　 NPNP1
　　 ADJS∈｜ADJ ADJS
　　 VPV
　　 VPV NP
　　 NJoe｜boy｜ball
　　 ADJlittle｜dig
　　 Vhit｜ran 　　 其中，大写的是非终结符，
　　 而小写的是终结符，
　　 ∈表示空字符串。