【机器学习】自然语言处理简介

参考

华为云学院

什么是自然语言处理

利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息，进行各种类型处理和加工的技术。——冯志伟
自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。——Bill Manaris

自然语言处理的基本方法

（1）能力模型
基于语言学规则的模型。建立在人脑中先天存在语法通则这一假设的基础上，认为语言是人脑的语言能力推导出来的。建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力
又称“理想主义的”语言模型，代表人物有Chomsky，Minsky。
建模步骤：（1）语言学知识形式化。（2）形式化规则算法化。（3）算法实现。
（2）应用模型
根据不同的语言处理应用而建立的特定语言模型，通过建立特定的数学模型来学习复杂的，广泛的语言结构，然后利用统计学、模式识别和机器学习等方法来训练模型的参数，以扩大语言使用的规模。
又称“经验主义的”语言模型，代表人物有Shannon，Skinner。
建模步骤：（1）大规模真实语料库中获得不同层级语言单位上的统计信息。（2）依据较低级语言单位上的统计信息运用相关的统计推理技术，来计算教高级语言单位上的统计信息。
在NLP的发展中，方法大致分为以下几类：（1）基于规则的方法。（2）基于统计的方法。

自然语言处理的三个层面

词法分析：包括分词、词性标注、命名实体识别等。
句法分析：包括句法结构分析和依存关系分析等。
语义分析：最终目的是理解句子表达的真实语义。

自然语言处理的难点

自然语言处理的发展现状

已开发完成一批颇具影响的语言资料库，部分技术已达到或基本达到实用化程度，并在实际应用中发挥巨大作用。北大语料库、HowNet。还有许多新的研究方向，比如阅读理解、图像（视频）理解、语音同声传译等。
除了一些成果，依然有许多理论问题未得到根本性的解决，比如未登录词的识别、歧义消解、语义理解、缺失一套完整、系统的理论框架体系。