这个屌丝很懒，什么也没留下！

tokenizer.encode（）

作者：Cpp五条 | 2024-05-12 14:36:51

tokenizer.encode

tokenizer.encode("说你跑的挺远",add_special_tokenizerns=False)

seg=tokenizer.tokenize("说你跑的挺远")
encoder = tokenizer.convert_tokenizerns_to_ids(seg)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/559365