LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】_llama扩充词表不起作用

作者：AllinToyou | 2024-05-12 10:34:26

踩

llama扩充词表不起作用

由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。

更多关于中文词表扩充的动机，可参考FAQ。如果欲了解扩充词表的具体方法，或者使用自己的词表对LLaMA tokenizer进行扩充，我们提供了代码

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/558616

LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】​_llama扩充词表 不起作用