[论文笔记] tiktoken中的gpt4 tokenizer_内网使用tiktoken

亲测可用！！！！！

        注意是bytelevel的BPE！！

        只有vocab.json是不ok的，只能encode单字节的字符，对于中文这种会encode之后tokens,ids都是[]。 

P.S.

BertTokenizer会有UNK，不在词表中的字符会识别为UNK，而不是用unicode编码。SentencePiece只能加载tokenizer.model。我用models.BPE：
from tokenizers import Tokenizer, pre_tokenizers, models
import json
with open("/xx/vocab_files/cl100k_base_vocab_str2id.json", "r") as file:
         vocab = json.load(file)
tokenizer = Tokenizer(models.BPE())
tokenizer.add_tokens(list(vocab.keys()))
text="喵喵喵cat"
tokens = tokenizer.encode(text).tokens
ids = tokenizer.encode(text).ids
print(tokens, ids)
但是这种还是会有问题，就是缺了merge.txt，只有单字节的字符能编码了。像中文encode之后的tokens和ids都成空[]了