这个屌丝很懒，什么也没留下！

大模型LLM 在线量化；GPTQ\AWQ量化及推理_大模型文件如何转换为awq格式?

作者：盐析白兔 | 2024-03-23 20:06:15

大模型文件如何转换为awq格式?

参考：https://www.cnblogs.com/bruceleely/p/17348782.html

trust_remote_code=True 一般都需要加上，不然会报错（Tokenizer class QWenTokenizer does not exist or is not currently imported）

##8bit
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(8)1

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/297372