深度学习中的量化学习与量化训练

作者：小蓝xlanll | 2024-04-07 08:30:20

踩

深度学习中的量化学习与量化训练

量化(quantized)，即将神经网络前向过程中浮点数运算量化为整数运算，以达到计算加速的目的。通常是指将float32转化为int8进行运算，经实践部署dsp上能提升2.5~3倍左右的推理速度。我们知道对浮点数的量化操作是将其从一个高维度映射到低维度的转换过程。

参考文章见：
量化训练：Quantization Aware Training in Tensorflow（一）
量化训练：Quantization Aware Training （二）
大约就是下图这样，数据会集中到非常狭窄 (-127,127) 的范围

由公式可以看出量化中的精度损失不可避免的，当浮点数的分布均匀时，精度损失较小。但当浮点数分布不均匀时，按照最大最小值映射，则实际有效的int8动态范围就更小了，精度损失变大。也就是这种量化计算方式如果是遇到极端值的话，不可避免的会受导致量化后的数据范围整体在更狭小的范围；这个有点像路沿拟合时，尽量使用RANSAC算法来进行拟合，排除极端值点的影响。

这个问题自然也有大佬在进行优化：NVIDIA的PPT中提出通过寻找最优阈值进行非饱和截取的思路改善精度损失。

以前的同事给出了两张自己总结知识的截图，在此进行补充：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/377495?site