预训练模型-词汇表：bert-base-uncased【vocab.txt；共30522个subword】_bert-base-uncased-vocab.txt

from pytorch_pretrained_bert import BertTokenizer

tokenizer = BertTokenizer.from_pretrained(r'D:\Pretrained_model\bert-base-uncased')

text01 = "Here is the sentence I want embeddings for."
text02 = "After stealing money from the bank vault, the bank robber was seen fishing on the Mississippi river bank."
marked_text = "[CLS] " + text01 + " [SEP] " + text02 + " [SEP]"
print('marked_text = ', marked_text)

tokenized_text = tokenizer.tokenize(marked_text)
print('tokenized_text = ', tokenized_text)
1
2
3
4
5
6
7
8
9
10
11

打印结果：

marked_text =  [CLS] Here is the sentence I want embeddings for. [SEP] After stealing money from the bank vault, the bank robber was seen fishing on the Mississippi river bank. [SEP]
tokenized_text =  ['[CLS]', 'here', 'is', 'the', 'sentence', 'i', 'want', 'em', '##bed', '##ding', '##s', 'for', '.', '[SEP]', 'after', 'stealing', 'money', 'from', 'the', 'bank', 'vault', ',', 'the', 'bank', 'robber', 'was', 'seen', 'fishing', 'on', 'the', 'mississippi', 'river', 'bank', '.', '[SEP]']
1
2

注意“embeddings”一词是如何表示的:

[‘em’, ‘##bed’, ‘##ding’, ‘##s’]

原来的单词被分成更小的子单词和字符。这些子单词前面的两个 “#” 号只是我们的tokenizer用来表示这个子单词或字符是一个更大单词的一部分，并在其前面加上另一个子单词的方法。因此，例如，‘##bed’ 这个token与 'bed’这个token是分开的，当一个较大的单词中出现’bed’时，使用第一种方法，当一个独立的bed这个token表示 “thing you sleep on”出现时，使用第二种方法。

为什么会这样？这是因为BERT tokenizer 是用WordPiece模型创建的。这个模型使用贪心法创建了一个固定大小的词汇表，其中包含单个字符、子单词和最适合我们的语言数据的单词。由于我们的BERT tokenizer模型的词汇量限制大小为30,000，因此，用WordPiece模型生成一个包含所有英语字符的词汇表，再加上该模型所训练的英语语料库中发现的~30,000个最常见的单词和子单词。这个词汇表包含个东西：

1. 整个单词
2. 出现在单词前面或单独出现的子单词(“em”(如embeddings中的“em”)与“go get em”中的独立字符序列“em”分配相同的向量)
3. 不在单词前面的子单词，在前面加上“##”来表示这种情况
4. 单个字符

要在此模型下对单词进行记号化，

• tokenizer首先检查整个单词是否在词汇表中。
• 如果没有，则尝试将单词分解为词汇表中包含的尽可能大的子单词，
• 最后将单词分解为单个字符。

注意，由于这个原因，我们总是可以将一个单词表示为至少是它的单个字符的集合。

因此，不是将词汇表中的单词分配给诸如“OOV”或“UNK”之类的全集令牌，而是将词汇表中没有的单词分解为子单词和字符令牌，然后我们可以为它们生成嵌入。

因此，我们没有将“embeddings”和词汇表之外的每个单词分配给一个重载的未知词汇表标记，而是将其拆分为子单词标记[’ em ‘、’ ##bed ‘、’ ##ding ‘、’ ##s ']，这些标记将保留原单词的一些上下文含义。我们甚至可以平均这些子单词的嵌入向量来为原始单词生成一个近似的向量。

接下来，我们需要调用tokenizer来匹配tokens在tokenizer词汇表中的索引：

indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text)

for tup in zip(tokenized_text, indexed_tokens):
    print("tup = ", tup)
1
2
3
4

打印结果：

tup =  ('[CLS]', 101)
tup =  ('here', 2182)
tup =  ('is', 2003)
tup =  ('the', 1996)
tup =  ('sentence', 6251)
tup =  ('i', 1045)
tup =  ('want', 2215)
tup =  ('em', 7861)
tup =  ('##bed', 8270)
tup =  ('##ding', 4667)
tup =  ('##s', 2015)
tup =  ('for', 2005)
tup =  ('.', 1012)
tup =  ('[SEP]', 102)
tup =  ('after', 2044)
tup =  ('stealing', 11065)
tup =  ('money', 2769)
tup =  ('from', 2013)
tup =  ('the', 1996)
tup =  ('bank', 2924)
tup =  ('vault', 11632)
tup =  (',', 1010)
tup =  ('the', 1996)
tup =  ('bank', 2924)
tup =  ('robber', 27307)
tup =  ('was', 2001)
tup =  ('seen', 2464)
tup =  ('fishing', 5645)
tup =  ('on', 2006)
tup =  ('the', 1996)
tup =  ('mississippi', 5900)
tup =  ('river', 2314)
tup =  ('bank', 2924)
tup =  ('.', 1012)
tup =  ('[SEP]', 102)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

---

---

---

参考资料：
BERT Word Embeddings Tutorial
BERT中的词向量指南，非常的全面，非常的干货