选择哪种量化方法适合您？（GPTQ vs. GGUF vs. AWQ）_gptq int-4 / int8、awq 和 gguf 权重

作者：盐析白兔 | 2024-04-24 02:46:42

踩

gptq int-4 / int8、awq 和 gguf 权重

探索预量化的大型语言模型

在过去的一年中，我们见证了大型语言模型（LLM）的狂野西部。发布新技术和模型的速度令人惊叹！因此，我们有许多不同的标准和处理LLM的方式。

在本文中，我们将探讨一个话题，即通过几种（量化）标准加载本地LLM。通过分片、量化和不同的保存和压缩策略，很难知道哪种方法适合您。

在示例中，我们将使用Zephyr 7B，这是一个经过Direct Preference Optimization（DPO）训练的Mistral 7B的精调变体。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/477238