热门标签
当前位置: article > 正文
Transformers 中原生支持的量化方案概述_transformers quantize
作者：你好赵伟 | 2024-08-16 18:35:30
赞
踩
transformers quantize
转载自：https://huggingface.co/blog/zh/overview-quantization-transformers
本文也提供英文版本 English。
本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。
目前，量化模型有两个主要的用途:
- 在较小的设备上进行大模型推理
- 对量化模型进行适配器微调
到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 auto-gptq 这两个量化库。
推荐阅读
相关标签
Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。
