NLP - pyltp / ltp4_ltp4 base

---

相关资料

LTP 官网：http://ltp.ai， http://ltp.ai/docs/index.html
LTP附录：https://ltp.readthedocs.io/zh_CN/latest/appendix.html#id3
附录2：http://ltp.ai/docs/appendix.html

---

pyltp：https://github.com/HIT-SCIR/pyltp
使用 pyltp：https://pyltp.readthedocs.io/zh_CN/latest/api.html

---

基于Pytorch的LTP4 已经发布，而PyLTP将会只有非常有限的维护，请大家移步使用 LTP 4
ltp4：https://github.com/HIT-SCIR/ltp
快速上手：http://ltp.ai/docs/quickstart.html

---

安装

安装 ltp4

(base) $ sudo pip install ltp
1

---

安装 pyltp

(base) $ sudo pip install pyltp
1

---

功能

https://ltp.readthedocs.io/zh_CN/latest/appendix.html#id3

• 词性标注。名词、动词
• 命名实体识别 NER。人名、机构名、地名等
• 语义角色标注。主谓宾，时间地点等。
• 依存语法关系。词和词之间的关系，主谓、动宾等。
• 语义依存关系

NLTK 比较适合英文数据，中文效果不够好。

---

使用 ltp4

参考：http://ltp.ai/docs/quickstart.html

---

载入模型

初次使用会 加载模型
也可以来这里下载：https://github.com/HIT-SCIR/ltp/blob/master/MODELS.md

---

分句

使用LTP分句只需要调用ltp.sent_split函数

from ltp import LTP
ltp = LTP()
sents = ltp.sent_split(["他叫汤姆去拿外衣。", "汤姆生病了。他去了医院。"])

# [
#   "他叫汤姆去拿外衣。",
#   "汤姆生病了。",
#   "他去了医院。"
# ]
1
2
3
4
5
6
7
8
9

---

用户自定义词典

# user_dict.txt

负重前行
长江大桥
1
2
3
4

---

from ltp import LTP
ltp = LTP()
# user_dict.txt 是词典文件， max_window是最大前向分词窗口
ltp.init_dict(path="user_dict.txt", max_window=4)
# 也可以在代码中添加自定义的词语
ltp.add_words(words=["负重前行", "长江大桥"], max_window=4)
1
2
3
4
5
6

---

分词

使用LTP分词非常简单，下面是一个简短的例子：

from ltp import LTP

ltp = LTP()

segment, _ = ltp.seg(["他叫汤姆去拿外衣。"])
# [['他', '叫', '汤姆', '去', '拿', '外衣', '。']]

# 对于已经分词的数据
segment, hidden = ltp.seg(["他/叫/汤姆/去/拿/外衣/。".split('/')], is_preseged=True)
1
2
3
4
5
6
7
8
9

---

词性标注

from ltp import LTP

ltp = LTP()

seg, hidden = ltp.seg(["他叫汤姆去拿外衣。"])
pos = ltp.pos(hidden)
# [['他', '叫', '汤姆', '去', '拿', '外衣', '。']]
# [['r', 'v', 'nh', 'v', 'v', 'n', 'wp']]
1
2
3
4
5
6
7
8

---

词性标注集
LTP 使用的是863词性标注集，其各个词性含义如下表。

---

命名实体识别

from ltp import LTP

ltp = LTP()

seg, hidden = ltp.seg(["他叫汤姆去拿外衣。"])
ner = ltp.ner(hidden)
# [['他', '叫', '汤姆', '去', '拿', '外衣', '。']]
# [[('Nh', 2, 2)]]

tag, start, end = ner[0][0]
print(tag,":", "".join(seg[0][start:end + 1]))]
# Nh : 汤姆
1
2
3
4
5
6
7
8
9
10
11
12

---

命名实体识别标注集

LTP中的NE 模块识别三种NE，分别如下：

---

语义角色标注

from ltp import LTP

ltp = LTP()

seg, hidden = ltp.seg(["他叫汤姆去拿外衣。"])
srl = ltp.srl(hidden)
# [['他', '叫', '汤姆', '去', '拿', '外衣', '。']]
# [
#     [
#         [],                                                # 他
#         [('ARG0', 0, 0), ('ARG1', 2, 2), ('ARG2', 3, 5)],  # 叫 -> [ARG0: 他, ARG1: 汤姆, ARG2: 拿外衣]
#         [],                                                # 汤姆
#         [],                                                # 去
#         [('ARG0', 2, 2), ('ARG1', 5, 5)],                  # 拿 -> [ARG0: 汤姆, ARG1: 外衣]
#         [],                                                # 外衣
#         []                                                 # 。
#     ]
# ]

srl = ltp.srl(hidden, keep_empty=False)
# [
#     [
#         (1, [('ARG0', 0, 0), ('ARG1', 2, 2), ('ARG2', 3, 5)]), # 叫 -> [ARG0: 他, ARG1: 汤姆, ARG2: 拿外衣]
#         (4, [('ARG0', 2, 2), ('ARG1', 5, 5)])                  # 拿 -> [ARG0: 汤姆, ARG1: 外衣]
#     ]
# ]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

---

语义角色类型

---

依存句法分析

需要注意的是，在依存句法当中，虚节点ROOT占据了0位置，因此节点的下标从1开始。

from ltp import LTP

ltp = LTP()

seg, hidden = ltp.seg(["他叫汤姆去拿外衣。"])
seg # [['他', '叫', '汤姆', '去', '拿', '外衣', '。']]
hidden 
'''
{'word_cls': tensor([[[-0.0672, -0.0493,  0.1183,  0.3838, -0.3820,  0.5235,  3.1999,
           ...
           -0.6485,  0.1697,  0.4605,  0.2197]]]),
 'word_input': tensor([[[-0.3917,  0.3768,  0.1465,  ..., -0.3472,  0.5388, -0.3908], 
          ...,
          [ 0.2546, -0.0828,  0.0694,  ...,  0.6388,  0.0963, -0.1677]]]),
 'word_length': [7],
 'word_cls_input': tensor([[[-0.0672, -0.0493,  0.1183,  ...,  0.1697,  0.4605,  0.2197],  ..., 
          [ 0.2546, -0.0828,  0.0694,  ...,  0.6388,  0.0963, -0.1677]]]), 
 'word_cls_mask': tensor([[False,  True,  True,  True,  True,  True,  True,  True]])}
'''

dep = ltp.dep(hidden)
# [['他', '叫', '汤姆', '去', '拿', '外衣', '。']]
# [
#     [
#         (1, 2, 'SBV'),
#         (2, 0, 'HED'),    # 叫 --|HED|--> ROOT
#         (3, 2, 'DBL'),
#         (4, 2, 'VOB'),
#         (5, 4, 'COO'),
#         (6, 5, 'VOB'),
#         (7, 2, 'WP')
#     ]
# ]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

---

有以下依存句法，主要考虑 主谓、动宾关系

---

语义依存分析(树)

与依存句法类似的，这里的下标也是从1开始。

from ltp import LTP

ltp = LTP()

seg, hidden = ltp.seg(["他叫汤姆去拿外衣。"])
sdp = ltp.sdp(hidden, graph=False)
# [['他', '叫', '汤姆', '去', '拿', '外衣', '。']]
# [
#     [
#         (1, 2, 'Agt'),
#         (2, 0, 'Root'),   # 叫 --|Root|--> ROOT
#         (3, 2, 'Datv'),
#         (4, 2, 'eEfft'),
#         (5, 4, 'eEfft'),
#         (6, 5, 'Pat'),
#         (7, 2, 'mPunc')
#     ]
# ]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

---

语义依存分析(图)

与依存句法类似的，这里的下标也是从1开始。

from ltp import LTP

ltp = LTP()

seg, hidden = ltp.seg(["他叫汤姆去拿外衣。"])
sdp = ltp.sdp(hidden, graph=True)
# [['他', '叫', '汤姆', '去', '拿', '外衣', '。']]
# [
#     [
#         (1, 2, 'Agt'),
#         (2, 0, 'Root'),   # 叫 --|Root|--> ROOT
#         (3, 2, 'Datv'),
#         (3, 4, 'Agt'),
#         (3, 5, 'Agt'),
#         (4, 2, 'eEfft'),
#         (5, 4, 'eEfft'),
#         (6, 5, 'Pat'),
#         (7, 2, 'mPunc')
#     ]
# ]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

---

---

LTP Server

LTP Server 是对 LTP 的一个简单包装，依赖于 tornado，使用方式如下：

pip install ltp, tornado
python utils/server.py serve
1
2