机器学习（十）：自然语言处理初级理解

什么是自然语言处理：

NLP（Natural Language Processing，自然语言处理）当中所谓的「自然」是为了与人造的语言（比如 C 语言， JAVA 等）区分开来，指自然形成的语言，即平时人们日常使用的交流的语言。「语言」则是人类区别其他动物的本质特性。在所有生物中，只有人类才具有语言能力。人类的多种智能都与语言有着密切的关系。人类的逻辑思维以语言为形式，人类的绝大部分知识也是以语言文字的形式记载和流传下来的。「处理」则指的是对自然语言的各种处理方法与运用。

nlp分类：自然语言的理解和自然语言的生成。

自然语言的理解：

1. 词义分析
2. 句法分析
3. 语义分析

自然语言的生成：

1. 文本规划：完成结构化数据中的基础内容规划。
2. 语句规划：从结构化数据中组合语句来表达信息流。
3. 实现：产生语法通顺的语句来表达文本。

应用的领域：

信息检索：对大规模文档进行索引。

语音识别：识别包含口语在内的自然语言的声学信号转换成符合预期的信号。

机器翻译：将一种语言翻译成另外一种语言。

智能问答：自动回答问题。

对话系统：通过多回合对话，跟用户进行聊天、回答、完成某项任务。

文本分类：将文本自动归类。

情感分析：判断某段文本的情感倾向

文本生成：根据需求自动生成文本

自动文摘：归纳，总结文本的摘要

相关的术语：

分词：词是 NLP 中能够独立活动的有意义的语言成分。即使某个中文单字也有活动的意义，但其实这些单字也是词，属于单字成词。

词性标注：给每个词语的词性进行标注，比如 跑/动词、美丽的/形容词等等。

命名实体识别：从文本中识别出具有特定类别的实体。像是识别文本中的日期，地名等等。

词义消歧：多义词判断最合理的词义。

句法分析：解析句子中各个成分的依赖关系。

指代消解：消除和解释代词「这个，他，你」等的指代问题。