spaCy V3.0 Tranformer模型WordEmbedding数据详解_spacy user dict

#spaCy V3.0 Tranformer模型WordEmbedding数据详解

对于Tranformer中文模型，官网给出的概要是：

可以看出，其并不包含预定义的词典和词向量。新版本的pipelines如下：

nlp = spacy.load('zh_core_web_trf')

def get_user_dict(f):
	ul = []
	with open(f, 'r', encoding='utf-8') as f:
		for l in f.readlines():
			ul.append(l.split('\t')[0])
	return ul

udict = get_user_dict('c:/user_dict.txt')
nlp.tokenizer.pkuseg_update_user_dict(udict)
doc = nlp('调整给水，注意给水流量与蒸汽流量相匹配，注意过热度，保证主蒸汽温度不超限。')

[t for t in doc]

===============================================================
[调整, 给水, ，, 注意, 给水流量, 与, 蒸汽, 流量, 相匹配, ，, 注意, 过热度, ，, 保证, 主蒸汽, 温度, 不, 超限, 。]


doc._.trf_data
===============================================================
	TransformerData(
	wordpieces=WordpieceBatch(
		strings=[['[CLS]', '调', '整', '给', '水', '，', '注', '意', '给', '水', '流', '量', '与', '蒸', '汽', '流', '量', '相', '匹', '配', '，', '注', '意', '过', '热', '度', '，', '保', '证', '主', '蒸', '汽', '温', '度', '不', '超', '限', '。', '[SEP]']], 
		input_ids=array([[ 101, 6444, 3146, 5314, 3717, 8024, 3800, 2692, 5314, 3717, 3837,
		7030,  680, 5892, 3749, 3837, 7030, 4685, 1276, 6981, 8024, 3800,
		2692, 6814, 4178, 2428, 8024,  924, 6395,  712, 5892, 3749, 3946,
		2428,  679, 6631, 7361,  511,  102]], dtype=int64), 
		attention_mask=array([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]], dtype=int64), 
		lengths=[39], 
		token_type_ids=array([[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
		0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]], dtype=int64)), 
		tensors=[array([[[(1, 39, 768]]], dtype=float32), array([[(1, 768)]], dtype=float32)], 
		align=Ragged(data=array([[ 1],[ 2],...[37]], dtype=int32), 
		lengths=array([2, 2, 1, 2, 4, 1, 2, 2, 3, 1, 2, 3, 1, 2, 3, 2, 1, 2, 1], dtype=int32), 
		data_shape=(-1,), 
		cumsums=None))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

从中可以看出：

1. strings：是按字分隔的(bert)
2. input_ids: 是各字在Transformer的vocab.txt中的索引值
3. lengths=[39]：是给原始文本加上’[CLS]’，’[SEP]'后的字数
4. tensors分两部分：

• doc._.trf_data.tensors[0] ：39个字符 * 768维向量
• doc._.trf_data.tensors[1] ：是 1 * 768的矩阵(本例为向量)，表示整个句子

5. lengths=array([2, 2, 1, 2, 4, 1, 2, 2, 3, 1, 2, 3, 1, 2, 3, 2, 1, 2, 1]:表示各分词的字数

其中的tensors能够单独调用。