bert4keras使用中的一些问题_bert4keras.tokenizer.encode

bert4keras.__version__ = 0.10.0

如何定位tokenizer后的实体位置？

from bert4keras.tokenizers import Tokenizer

dict_path = 'D:/Ai/model/electra-small/vocab.txt'

tokenizer = Tokenizer(dict_path, do_lower_case=True)

token_ids, segment_ids = tokenizer.encode(text, maxlen=maxlen)

其中 tokenizer.encode(text)得到的是[token_ids, segment_ids],

使用tokenizer.encode(text)[0]取到token_ids

使用tokenizer.encode(text)[0][1:-1]去掉token_ids里的[cls]和[sep] ，即text在经过tokenizer后对应的token_id

再使用text在经过tokenizer后对应的token_id 去匹配经过tokenizer的原句的token_id 

这么做的原因是文本在经过tokenizer后长度会发生变化，如果根据原始文本位置去匹配的话会出现位置不一致的问题