LLM.int8()——自适应混合精度量化方法

作者：菜鸟追梦旅行 | 2024-04-27 01:17:11

踩

llm.int8()

Paper地址：https://arxiv.org/abs/2208.07339

GitHub链接：GitHub - TimDettmers/bitsandbytes: 8-bit CUDA functions for PyTorch

随着模型参数规模的增加，大模型（如GPT-3，OPT-175B等NLP稠密大模型）的实际部署应用，需要消耗一定的计算/存储资源，且推理响应延迟存在限制，例如：基于Triton的分布式并行推理，OPT-175B部署在8张A100设备上时，推理延迟约400ms（Batch size=1）。

模型量化是实现模型压缩与推理加速的常用技术手段，但由于大模型本身巨大的参数规模，首先权重矩阵与特征张量的维度都很高，对权重与特征都直接采用Per-tensor量化会造成较大

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/494073