文本预处理技术

自然语言处理简介：

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
自然语言处理（NLP）=自然语言理解（NLU）+ 自然语言生成（NLG）。
这三者的关系如下图：

在NLP工程中，文本预处理通常包含以下几个步骤：

分词：

一、分词需要工具，以下是常用开源分词工具：

Jieba分词 https://github.com/fxsjy/jieba
SnowNLP https://github.com/isnowfy/snownlp
LTP http://www.ltp-cloud.com
HanNLP https://github.com/hankcs/HanLP

二、一般的分词方法：

1 最大匹配算法

1.1 正向最大匹配

正向先从左到右取max_len个词，每次右边减一个字，直到词典中存在或剩下1个单字。
比如：
sentence = ‘今天要学习自然语言处理’
user_dict = [‘今天’, ‘要’, ‘学习’, ‘自然’, ‘语言’, ‘处理’, ‘自然语言处理’]
词典最大长度 max_len = 5

第1轮扫描：
第1次：“今天要学习”，扫描词典，无