Tokenizer与TokenizerFast不一样，transformers踩坑

做实验时发现，同一个模型，同一个数据集，测试出的loss竟然相差十倍。经过反复测试发现居然是Tokenizer的问题！！！
以T5为例，

from transformers import AutoTokenizer, AutoConfig, T5Config,T5Tokenizer

    model_name = "ClueAI/PromptCLUE-base-v1-5"  
    tokenizer1 = T5Tokenizer.from_pretrained(model_name)
	tokenizer2 = AutoTokenizer.from_pretrained(model_name)

1
2
3
4
5
6

最终得到的tokenizer1为T5Tokenizer类，而tokenizer2为T5TokenizerFast，两者的vocab完全一致

tokenizer.get_vocab()==tokenizer2.get_vocab()
Out[1]: True
1
2

但是，对中文句子进行tokenizer处理后，得到的input_ids居然不一样！
经检查，发现是T5TokenizerFast会自动把中文标点转换为英文，导致input_ids不同

tokenizer2.tokenize("，。：？！")
Out[2]: ['▁', ',', '。', ':', '?', '!']
tokenizer1.tokenize("，。：？！")
Out[3]: ['▁', '，', '。', '：', '？', '!']
1
2
3
4

虽然T5TokenizerFast比普通的tokenizer处理速度快很多，但是为了保证decode后和原文一致，在处理中文句子时，我还是选择了普通的tokenizer。
AutoTokenizer可能会导致一些意料之外的错误，最好还是直接指定tokenizer类型，避免出错。