从 0 到 1 | 手把手教你如何使用哈工大 NLP 工具 —— PyLTP！

作者 | 杨秀璋

来源 | CSDN 博客（CSDN id：Eastmount）

（本文经作者授权，此系列文章整理后微信平台首发于AI科技大本营）

【导语】此文是作者基于 Python 构建知识图谱的系列实践教程，具有一定创新性和实用性。文章前半部分内容先介绍哈工大 pytltp 工具，包括安装过程、中文分词、词性标注和实体识别的一些基本用法；后半部分内容讲解词性标注、实体识别、依存句法分析和语义角色标注及代码实现。

 

 

哈工大LTP

 

LTP（Language Technology Platform）中文为语言技术平台，是哈工大社会计算与信息检索研究中心开发的一整套中文语言处理系统。LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块（包括词法、句法、语义等6项中文处理核心技术），以及基于动态链接库（Dynamic Link Library，DLL）的应用程序接口，可视化工具，并且能够以网络服务的形式进行使用。

LTP开发文档：

https://ltp.readthedocs.io/zh_CN/latest/index.html

语言云LTP-Cloud：

http://www.ltp-cloud.com/

模型下载地址：

http://ltp.ai/download.html

在线演示案例如下图所示：

相信从事NLP、数据挖掘、知识图谱等领域的博友都知道哈工大LTP、同义词词林这些工具，该系列文章也会介绍相关的知识，希望对您有所帮助。

此外，再补充另一个在线NLP分析系统，感兴趣的朋友们也可以试一下~

http://ictclas.nlpir.org/nlpir/

 

pyltp 终极安装

 

下面介绍 Windows10 Python 环境下 LTP 的扩展包 pyltp 安装过程。

1.常见错误

大家通常会调用 “pip install pyltp” 安装该扩展包，但会遇到各种错误，下面介绍一种可行的方法。

2.安装pyltp包

首先，安装Python3.6环境，如下图所示“python-3.6.7-amd64.exe”。

接着，下载pyltp扩展包的whl文件至本地，调用CMD环境进行安装，注意需要将所在文件的路径写清楚。

whl下载地址：

https://download.csdn.net/download/qq_22521211/10460778

安装过程下图所示，此时表示pyltp安装成功。

注意，如果报错“error：Microsoft Visual C++ 9.0 is required”，则安装下面exe文件。

3.下载模型文件

最后需要下载模型文件，其下载地址为：

百度云

https://pan.baidu.com/share/link?shareid=1988562907&uk=2738088569#list/path=%2F

七牛云

http://ltp.ai/download.html

本文下载3.4版本的模型，下载解压如下图所示：

模型对应的说明如下图所示：

在编写代码时，需要导入指定文件夹中的模型，再进行中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等分析。例如：

分词、词性标注、句法分析一系列任务之间存在依赖关系。举例来讲，对于词性标注，必须在分词结果之上进行才有意义。LTP中提供的5种分析之间的依赖关系如下所示：

讲到这里，哈工大pyltp基本安装成功，接下来将介绍它的基本用法。

基础性文章，希望对入门者有所帮助。

 

中文分句和分词

 

官方文档：

https://pyltp.readthedocs.io/zh_CN/latest/api.html#id13

实现原理：

https://ltp.readthedocs.io/zh_CN/latest/theory.html#customized-cws-reference-label

1.中文分句

中文分句的输出结果如下所示：

2.中文分词

输出结果如下所示（人工换行）：

此时的分词效果并不理想，如 “大数据” 分为了“大”、“数据”，“欧几里得”分为了“欧”、“几”、“里”、“得”，“贵阳花溪区”分为了“贵阳”、“花溪区”等，故需要引入词典进行更为准确的分词。同时，返回值类型是native的VectorOfString类型，可以使用list转换成Python的列表类型。

3.导入词典中文分词

pyltp 分词支持用户使用自定义词典。分词外部词典本身是一个文本文件（plain text），每行指定一个词，编码同样须为 UTF-8，比如“word”文件，如下图所示：

完整代码如下所示：

输出结果如下所示，它将“大数据”、“欧几里得”、“贵阳花溪区”进行了词典匹配，再进行相关分词，但是“贵州财经大学”仍然划分为“贵州”、“财经”、“大学”。Why？

4.个性化分词

个性化分词是 LTP 的特色功能。个性化分词为了解决测试数据切换到如小说、财经等不同于新闻领域的领域。在切换到新领域时，用户只需要标注少量数据。个性化分词会在原有新闻数据基础之上进行增量训练。从而达到即利用新闻领域的丰富数据，又兼顾目标领域特殊性的目的。

pyltp 支持使用用户训练好的个性化模型。关于个性化模型的训练需使用 LTP，详细介绍和训练方法请参考 个性化分词 。在 pyltp 中使用个性化分词模型的示例如下：

 

词性标注

 

词性标注（Part-Of-Speech tagging, POS tagging）也被称为语法标注（grammatical tagging）或词类消疑（word-category disambiguation），是语料库语言学（corpus linguistics）中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术。

pyltp词性标注与分词模块相同，将词性标注任务建模为基于词的序列标注问题。对于输入句子的词序列，模型给句子中的每个词标注一个标识词边界的标记。在LTP中，采用的北大标注集。

完整代码：

输出结果如下图所示，“贵州”词性为“ns”（地理名词 ），“财经”词性为“n”（一般名词），“举办”词性为“v”（动词），“吗”词性为“u”（助词），“？”词性为“wp”（标点）。

具体词性为：

 

命名实体识别

 

命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。

在哈工大Pyltp中，NE识别模块的标注结果采用O-S-B-I-E标注形式，其含义如下（参考）：

LTP中的NE 模块识别三种NE，分别为人名（Nh）、机构名（Ni）、地名（Ns）。

完整代码：

输出结果如下图所示，识别出的三个命名实体分别是：“贵州”（B-Ni）表示一个NE开始-机构名，“财经”（I-Ni）表示一个NE中间-机构名，“大学”（E-Ni）表示一个NE结束-机构名。

PS：虽然导入指定词典，但“贵州财经大学”分词仍然被分割，后续研究中。

 

依存句法分析

 

依存句法是由法国语言学家L.Tesniere最先提出。它将句子分析成一棵依存句法树，描述出各个词语之间的依存关系。也即指出了词语之间在句法上的搭配关系，这种搭配关系是和语义相关联的。如下图所示：

哈工大Pyltp的依存句法关系如下图所示。

参考：

https://ltp.readthedocs.io/zh_CN/latest/appendix.html

完整代码：

输出结果如下所示，其中ATT表示定中关系，如“贵州-大学”、“财经-大学”；SBV表示主谓关系，如“大学-举办”；ADV表示状中结果“要-举办”；HED表示核心关系“举办-Root”，即“举办大数据”。

补充：arc.head表示依存弧的父节点词的索引，arc.relation表示依存弧的关系。arc.head中的ROOT节点的索引是0，第一个词开始的索引依次为1、2、3。

 

语义角色标注

 

该部分代码仅供博友们参考，作者还在深入研究中。

输出结果如下：

上面的例子，由于结果输出一行，所以“元芳你怎么看”有一组语义角色。其谓词索引为3，即“看”。这个谓词有三个语义角色，范围分别是(0,0)即“元芳”，(1,1)即“你”，(2,2)即“怎么”，类型分别是A0、A0、ADV。

希望这篇基础性文章对你有所帮助，如果有错误或不足之处，还请海涵。

原文链接：

https://blog.csdn.net/Eastmount/article/details/90771843

https://blog.csdn.net/Eastmount/article/details/92440722

最近，大家都在谈论高考志愿报考话题，Python大本营也发起投票，欢迎大家与我们交流。（*本文经作者授权微信平台首发于AI科技大本营，转载请微信联系1092722531）

2019程序员转型学什么？

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

【End】

 热 文 推 荐 

小米崔宝秋：小米 AIoT 深度拥抱开源

为什么 C 语言仍然占据统治地位？

苹果应用审核团队：每人日审百款 App！

华为在美研发机构 Futurewei 意欲分家？

☞老司机教你如何写出没人敢维护的代码！

☞Python有哪些技术上的优点？比其他语言好在哪儿？

☞上不了北大“图灵”、清华“姚班”，AI专业还能去哪上？

☞公链史记 | 从鸿蒙初辟到万物生长的十年激荡

☞边缘计算容器化是否有必要？

☞马云曾经偶像，终于把阿里留下的1400亿败光了！

你点的每个“在看”，我都认真当成了喜欢