选择哪种量化方法适合您？（GPTQ vs. GGUF vs. AWQ）_gptq 量化

作者：2023面试高手 | 2024-06-03 02:38:29

踩

gptq 量化

探索预量化的大型语言模型

文章翻译：Maarten Grootendorst Which Quantization Method is Right for You? (GPTQ vs. GGUF vs. AWQ)

在过去的一年中，我们见证了大型语言模型（LLM）的狂野西部。发布新技术和模型的速度令人惊叹！因此，我们有许多不同的标准和处理LLM的方式。

在本文中，我们将探讨一个话题，即通过几种（量化）标准加载本地LLM。通过分片、量化和不同的保存和压缩策略，很难知道哪种方法适合您。

在示例中，我们将使用Zephyr 7B，这是一个经过Direct Preference Optimization（DPO）训练的Mistral 7B的精调变体。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/665376