Bert工程化代码优化_paddingstrategy

tokenizer优化

使用BertTokenizerFast提速

使用 BertTokenizerFast 取代 BertTokenizer

BertTokenizerFast是基于Rust语言开发的版本，性能提高10倍（官方宣传和实测结果一致）

from transformers import BertTokenizerFast

tokenizer高效使用

使用transformers的padding和truncation模式，可以大大节省我们的截断和补齐的预处理代码。

padding模式

from transformers.file_utils import PaddingStrategy

如果文本长度支持弹性输入/动态长度

padding=PaddingStrategy.LONGEST

如果文本长度固定，需要补齐到模型的最大长度

padding=PaddingStrategy.MAX_LENGTH

truncation模式

from transformers.tokenization_utils_base import TruncationStrategy

默认使用这种即可

truncation=TruncationStrategy.LONGEST_FIRST

使用示例：

单句模式

例如sbert，分类模型等

encoded_input = tokenizer(texts, padding=padding,  truncation=truncation, max_length=model_max_len)  #, return_tensors='np'

双句模式

例如排序模型等

第一句统一放入texts的list中

第二句统一放入text_pair的list中

tokenizer会自动解决2句的拼接处理，这样可以极大的节省预处理代码。

encoded_input = tokenizer(text=texts, text_pair=text_pairs, padding=padding, truncation=truncation, max_length=model_max_len) #, return_tensors='np'

其他

query = query.strip("？").strip("。").strip("、").strip("！").strip("，")

优化为

query = query.strip("？。、！，")