自然语言处理之——句法分析_自然语言处理 第十讲-句法分析 中国科学院大学

一． 摘要

在自然语言处理的一个重要分支领域——机器翻译中，句法分析占据着核心的地位，句法分析也是自然语言处理的核心技术，是机器理解语言的关键部分。句法分析的主要任务是识别出句子所包含的句法成分以及这些成分之间的关系，通常会以句法树来表示句法分析的结果。本次分享将介绍句法分析相关的技术。

二． 概述

句法分析是决定自然语言处理进度的关键部分。句法分析主要有一下两个障碍：歧义和搜索空间。自然语言区别于人工语言的一个重要特点就是它存在着大量的歧义现象。人们可以依靠大量的先验知识有效的消除掉歧义，而在机器学习中，机器在表示和获取方面存在严重的不足，所以很难向人一样进行语句的歧义消除。句法分析是一个极为复杂的任务，侯选树的个数会随着句子增多呈现指数级别的增长，搜索空间巨大。因此，必须要有合适的解码器，才能够做到在规定的时间内搜索到模型定义的最优解。

句法分析是通过词语组合分析得到句法结构的过程，而实现该过程的工具或程序被称为句法分析器。句法分析的种类很多，这里我们根据其侧重目标分为完全句法分析和局部句法分析两种。两者的差别在于，完全句法分析以获取整个句子的句法结构为目的；而局部句法分析只关注局部的一些成分。

句法分析中所用方法可以简单的分为基于规则和基于统计两个类别。首先基于规则的方法在处理大规模真实文本时，会存在语法规则覆盖有限的缺陷。随着基于统计学习模型的句法分析方法兴起，句法分析器的性能不断的提高。典型的就是PCFG，它在句法分析领域得到了很广泛的应用。统计句法分析模型本质上是一套面向候选树的评价方法，正确的句法树会被赋予一个较高的分值，对不合理的句法树则赋予较低的分值，最终将会选择分值最高的句法树作为最终句法分析的结果