自然语言处理NLP概论

1 什么是NLP

  在人工智能出现之前，机器可以理解结构化的数据，比如excel，数据库里面的数据，但是对于文本，视频，语音等非结构化的数据，虽然蕴含了极大的信息，但是机器却不能够直接理解，所以自然语言处理学科就应运而生。NLP就是人和计算机之间沟通的桥梁。

1.1 NLP的两大任务

NLP有两个核心任务，分别是

• NLU：自然语言理解（Natural Language Understanding）
• NLG：自然语言生成（Natural Language Generating）
  
  通过一张图来说明二者的应用
  

1 NLU 自然语言理解

1.在NLU领域的难点：

1. 语言的多样性
2. 语言的歧义性
3. 语言的鲁棒性
4. 语言的知识依赖
5. 语言的上下文

2.知识图谱：
3.发展历程

2 NLG 自然语言生成

定义：将非语言格式的数据转换成⼈类可以理解的语言格式。

• 1）text-to-text：文本到语言的生成
• 2）data-to-text：数据到语言的生成
• 3）image-to-text：图像到语言的生成

步骤：

第一步：内容确定 - Content Determination

首先，NLG 系统需要决定哪些信息应该包含在正在构建的文本中，哪些不应该包含。通常数据中包含的信息比最终传达的信息要多。

第二步：文本结构 - Text Structuring

确定需要传达哪些信息后，NLG 系统需要合理的组织文本的顺序。例如在报道一场篮球比赛时，会优先表达「什么时间」「什么地点」「哪2支球队」，然后再表达「比赛的概况」，最后表达「比赛的结局」。

第三步：句子聚合 - Sentence Aggregation

不是每一条信息都需要一个独立的句子来表达，将多个信息合并到一个句子里表达可能会更加流畅，也更易于阅读。

第四步：语法化 - Lexicalisation

当每一句的内容确定下来后，就可以将这些信息组织成自然语言了。这个步骤会在各种信息之间加一些连接词，看起来更像是一个完整的句子。

第五步：参考表达式生成 - Referring Expression Generation|REG

这个步骤跟语法化很相似，都是选择一些单词和短语来构成一个完整的句子。不过他跟语法化的本质区别在于“REG需要识别出内容的领域，然后使用该领域（而不是其他领域）的词汇”。

第六步：语言实现 - Linguistic Realisation

最后，当所有相关的单词和短语都已经确定时，需要将它们组合起来形成一个结构良好的完整句子。

典型应用：

• 1）应用目标：能够大规模的产生个性化内容；帮助人类洞察数据，让数据更容易理解；加速内容生产。

• 2）自动写新闻（自动定稿），聊天机器人（机器客服），BI（商业智能）的解读和报告生成

• 3）论文写作，摘要生成，自动作诗，新闻写作、报告生成，

1.2 NLP的发展和技术路线

NLP的两种途径

1 基于传统机器学习的NLP流程

其中，中文语料预处理的四个核心：

2 基于深度学习的NLP流程

3 方法路线

知识图谱：

曾经NLP上课时候老师讲的ppt：

再附上一张宗成庆老师的统计自然语言书籍思维导图

1.3 目前研究方向

$$2019年ACL投稿热门$$

$$2020ACL投稿热门$$

2 词法分析（Lexical Analyse）

  词是最小的能够独立运用的语言单位，因此，词法分析是其他一切自然语言处理问题（例如：句法分析、语义分析、文本分类、信息检索、机器翻译、机器问答等）的基础，会对后续问题产生深刻的影响。

  在词法分析中，主要有分词，词性标注，(命名)实体识别等任务。最终任务就是：将输入的句子字串转换成词序列并标记出各词的词性。

2.1 分词

  分词就是将句子，段落，篇章等等长文本分解为已字词为单位的数据结构，得到结构化数据，方便后续处理。

1. 为什么需要分词？

• 将复杂问题转换为数学问题。通过将文本等等【非结构化数据】转换为【结构化数据】，可以进行后续数学建模。
  
• 词具有合适的粒度。此时表达含义的最小单位，字的粒度太小，无法表达完整的含义；而句子的粒度太大，承载的信息量过多。
  

2. 中英文分词的区别

1. 英文由于空格将单词自然的分开，而中文没有空格之类的符号，所以中文分词的难度相对较大

2. 英文单词有多种形态，比如过去式，现在时，将来时等等，所以需要词形还原（Lemmatization：does，doing，did还原成do）和词干提取（Stemming：cities转换为city），而中文不需要。

3. 中文分词需要考虑粒度的问题。比如【中国科技技术大学】可以有几种分词方式：

   • 中国 / 科技技术 / 大学
   • 中国 / 科学 / 技术 / 大学
   • 中国科学技术大学

3. 中文分词的难点

• 没有统一的标准。没有统一的规范/标准来制定分词规则，每个公司都有自己的分词标准。
• 歧义词难以切分。
• 新词如何识别？

4. 分词方法

5 分词知识图谱

2.2 词性标注

1 什么是词性标注

  词性：单词的语法分类，比如名次动词形容词副词等等。
  词性标注：为句子中的每一个单词预测一个词性标签的任务，如下图：

2 词性标注难点

• ①汉语缺乏词的形态变化，不能像外语那样，直接从词的形态变化上来判别词的类别；
• ②常用词的兼类现象严重。兼类词使用频度高，兼类现象复杂多样，覆盖面广，又涉及汉语中大部分词类，使得词类消岐的任务困难重重；
• ③研究者本身的主观因素也会造成兼类词处理的困难。据统计，常见的汉语兼类现象具有以下的分布特征：
  • 1.在汉语词汇中，兼类词数量不多，约占总词条数的 5- 11% 。
  • 2.兼类词的使用频率很高，越常用的词，其词性兼类现象越严重。
  • 3.兼类现象分布不均。如何高效地进行兼类词排歧是目前词性标注面临的主要困难之一。

3 词性标注常用方法

4 语料库和标注集

  同分词一样，词性标注也没有一个统一的标准，无论是词性划分的颗粒度还是词性标签都不一致。一方面各派系林立，互不兼容；另一方面，部分语料库称为内部资料，不公开给社会。

常用的公开语料库有:

• 《人民日报》语料库和PKU标注集
• 国家语委语料库和863标注集

5 语料标注工具推荐

• Jieba ：结巴github地址
• HandLP： HandLP的github地址
• StanfordCoreNLP： github地址

2.3 命名实体识别（NER）

1 什么是命名实体识别

  命名实体识别（Named Entity Recognition，简称NER），是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

2 命名实体识别方法

3 实现方式

• 有监督的学习方法：
  这一类方法需要利用大规模的已标注语料对模型进行参数训练。目前常用的模型或方法包括隐马尔可夫模型、语言模型、最大熵模型、支持向量机、决策树和条件随机场等。值得一提的是，基于条件随机场的方法是命名实体识别中最成功的方法。

• 半监督的学习方法：
  这一类方法利用标注的小数据集（种子数据）自举学习。

• 无监督的学习方法：
  这一类方法利用词汇资源（如WordNet）等进行上下文聚类。

• 混合方法：
  几种模型相结合或利用统计方法和人工总结的知识库。

值得一提的是，由于深度学习在自然语言的广泛应用，基于深度学习的命名实体识别方法也展现出不错的效果，此类方法基本还是把命名实体识别当做序列标注任务来做，比较经典的方法是LSTM+CRF、BiLSTM+CRF。

4 推荐工具

3 句法分析（Syntactic Analyse)

  句法分析就是找到一个句子的组成成分，打上标签。如下所示：

3.1 成分句法分析

  成分句法分析要做的是，给定一个句子，句子中每个词汇都是成分。它们的标签，就是它们的词性。接着，相邻的成分，可以组合成一个更大的单位。比如 deep 和 learning 可以组合起来成为一个名词短语。very 和 powerful 也可以组合起来，变成一个形容词短语。is 和 very powerful 又可以组合起来，变成一个动词短语。最后这个动词短语和名词短语组合起来，变成整个句子。

1 成分标签

2 方法

• 基于规则：CFG（上下文无关法）
• 基于统计：PCFG（概率上下文无关）
• 基于深度学习

3 成分结构与依存结构关系

成分结构树可以转换为依存结构树，反之不能。可以通过以下方法转换：

1. 定义中心词表，为句法树每个节点选择中心子节点
2. 同一层内将非中心子结点的中心词依存到中心子结点的中心词上，下一层的中心词依存到上一层的中心词上，从而得到相应的依存结构。

3.2依存句法分析

  依存句法是由法国语言学家L.Tesniere最先提出。它将句子分析成一颗依存句法树，描述出各个词语之间的依存关系。也即指出了词语之间在句法上的搭配关系，这种搭配关系是和语义相关联的。

  在自然语言处理中，用词与词之间的依存关系来描述语言结构的框架称为依存语法（dependence grammar），又称从属关系语法。利用依存句法进行句法分析是自然语言理解的重要技术之一。

  依存句法通过分析语言单位内成分之间的依存关系解释其句法结构，主张句子中核心动词是支配其他成分的中心成分。而它本身却不受其他任何成分的支配，所有受支配成分都以某种关系从属于支配者。

1 依存关系标签表

2 常用方法

• 基于规则：早期基于规则的方法包括类似CYK的动态规划算法，基于约束满足的方法和确定性分析策略等。

• 基于统计：

  • 生成式依存分析方法
  • 判别式依存分析方法
  • 确定式依存分析方法

• 基于深度学习：近年来，深度学习在句法分析课题上逐渐成为研究热点，主要研究工作集中在特征表示方面。传统方法的特征表示主要采用人工定义原子特征和特征组合，而深度学习则把原子特征(词、词性、类别标签)进行向量化，在利用多层神经元网络提取特征。

4 语义分析（Semantic Analyse）