中文NLP技术学习(1)：搭建NLP开发环境

 中文NLP技术学习系列文章，将以NLTK系统为主体框架，通过整合相关的开源系统来学习NLP中涉及的所有模块。下面是我的PC环境：

• win10 64bits
• python 3.6.8+pip+virtualenv
• PyCharm 2018.3.5 (Professional Edition)

本系列Demo地址：NLPDemos

1. NLTK平台搭建

 NLTK，Nature Language Tool Kit，即自然语言工具包，是一个免费、开源且使用Python程序构建的自然语言数据工作平台。NTLK系统提供了易于使用的界面和超过50种语料库、词汇资源，同时还包含一套分类、分词、词干、标注、分析和语义推理的基本框架，更为重要的是我们可以将目前比较好的NLP开源应用系统整合到NLTP平台来开发NLP项目。

NLTK平台特征：

• 跨平台。完全兼容Windows、Linux等系统；
• 跨语言。允许自由整合基于Java、C++、Python等语言实现的NLP系统；
• 预先包含绝大多数的NLP常用功能，即各类基于规则的或基于统计的词法、句法、语义等分析模块；
• 系统内存开销小；

1.1 安装Python3.6和第三方库

(1) 安装python3.6.8

(2) 安装网络包

pip install Tornado
1

(3) 安装数学运算包

pip install numpy

pip install scipy
1
2
3

1.2 搭建NLTK平台

(1) 安装NLTK开发环境

pip install nltk
1

(2) 下载中文语料库

# NLTK_Download.py

import sys
import nltk
import importlib

# 加载sys库
importlib.reload(sys)

# 打开NLTK Downloader下载页面
nltk.download()
1
2
3
4
5
6
7
8
9
10
11

执行脚本python NLTK_Download.py，看到如下界面：

 NLTK平台提供了50种语料库、词汇库，但默认使用的都是英文语料库。由于我们研究的是中文NLP，因此不必要下载所有语料库，就我所知Sinica是中央研究院提供的一个繁体中文语料库。

2. LTP环境搭建

 LTP(3.4.0)，Language Technology Platform，即语言技术平台，是哈尔滨工业大学开发的一整套中文语言处理系统，该平台基于C++实现，提供包括中文分词、 词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、高效、精确的自然语言处理技术，且支持可视化图形输出。另外，为了便于在python环境下使用，LTP还提供了它的Python封装pyltp(0.2.0)，其依赖支持情况：

2.1 pyltp开发环境搭建

(1) 安装pyltp

 LTP官方提供了两种安装方式，即使用pip在线安装和编译源码本地安装，具体如下：

• 使用pip安装

pip install pyltp
1

注：如果安装过程中出现Microsoft Visual Studio 14.0错误，这里推荐下载pyltp-0.2.1-cp36-cp36m-win_amd64.whl，然后直接使用pip install pyltp-0.2.1-cp36-cp36m-win_amd64.whl安装即可。

• 从源代码安装(PC需安装git)

 $ git clone https://github.com/HIT-SCIR/pyltp
 $ git submodule init
 $ git submodule update
 $ python setup.py install 
1
2
3
4

(2) 下载LTP模型文件ltp_data_v3.4.0.zip，需要注意的是，在windows下 3.4.0 版本的语义角色标注模块模型需要单独下载，即pisrl_win.model。

 其中，cws.model为中文分词模型；ner.model为命名实体模型；parser.model为句法解析模型；pisrl_win.model为语义角色标注模型；pos.model为词性标注模型。

3. 示例演示

 在上一小节中，我们成功将NLP开源系统pyltp整合到NLTK平台，本节编写一个句法解析示例来演示如何利用NLTK和pyltp研究NLP相关技术。关于什么是句法解析，这里我们放在后面文章中详讲，你只需要知道句法解析就是汉语中解析一个句子的语法结构。示例代码如下：

# Parser.py 句法解析示例
# Date：2019-05-07 9:43
# Author：Jiangdongguo

from pyltp import *
import nltk
from scipy._lib.six import xrange

sentence = "中国南部的湖南省，省会是长沙市，也是一座世界知名的城市。"

segment_model_path = "data/ltp_models/cws.model"    # 中文分词模型
postagger_model_path = "data/ltp_models/pos.model"  # 词性标注模型
parser_model_path = "data/ltp_models/parser.model"  # 句法分析模型

# 1. 中文分词
segmentor = Segmentor()
segmentor.load(segment_model_path)
segResult = segmentor.segment(sentence)
tmp = " ".join(segResult)
print(tmp)

# 2. 词性标注
words = tmp.split(" ")
postagger = Postagger()
postagger.load(postagger_model_path)
postags = postagger.postag(words)

# 3. 句法分析
#   将词性标注和分词结果都加入到分析器进行句法解析
parser = Parser()
parser.load(parser_model_path)
arcs = parser.parse(words, postags)
arcLen = len(arcs)
conll = ""

# 构建Conll标准的数据结构
for i in xrange(arcLen):
    if arcs[i].head == 0:
        arcs[i].relation = "ROOT"
    conll += "\t"+words[i]+"("+postags[i]+")"+"\t"+postags[i]+"\t"+str(arcs[i].head)+"\t"+arcs[i].relation+"\n"
print(conll)

# 使用nltk构建依存句法关系树
conllTree = nltk.DependencyGraph(conll)  # 转换为依存句法图
tree = conllTree.tree()  # 构建树结构
tree.draw()  # 显示输出树
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

注：模型文件由于比较大，就没有上传，请下载后自行放在项目的data/ltp_models目录下。

• 运行结果：

(venv) E:\ComPython\NLPDemos>python lesson01/Parser.py
中国 南部 的 湖南省 ， 省会 是 长沙市 ， 也 是 一 座 世界 知名 的 城市 。
中国(ns) ns 2 ATT
南部(nd) nd 4 ATT
的(u) u 2 RAD
湖南省(ns) ns 7 SBV
，(wp) wp 4 WP
省会(n) n 7 SBV
是(v) v 0 ROOT
长沙市(ns) ns 7 VOB
，(wp) wp 7 WP
也(d) d 11 ADV
是(v) v 7 COO
一(m) m 13 ATT
座(q) q 17 ATT
世界(n) n 15 SBV
知名(a) a 17 ATT
的(u) u 15 RAD
城市(n) n 11 VOB
。(wp) wp 7 WP

• 依存句法关系树：

本文Demo：Lesson01

• LTP在线文档
• pyltp在线文档