009. 量化概念记录_4bit量化

作者：笔触狂放9 | 2024-04-07 08:36:25

踩

4bit量化

1. 基础科普：

2. 量化方法分类：

精度分：8bit量化，4bit量化， 16bit量化。
根据缩放系数能否覆盖网络数据和参数范围分：饱和量化（需要），非饱和量化。
根据零点是否为0分：对称量化，非对称量化。
按是否需要数据集和训练分：动态离线量化，静态离线量化，量化感知训练。（1）动态离线量化：无需样本数据，对模型的参数在推理前进行量化。该方法依赖最少，量化的效果一般，量化的加速效果弱一些。（2）静态离线量化：在预测前使用量化校准集进行模型激活值分布的统计，确定激活层的量化参数。（3）量化感知训练：在训练的过程中网络模拟量化的效果进行参数更新和优化，量化的效果最好，部署预测无速度损失，训练过程需要进行改变。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/377536