PyTorch训练（五）：量化感知训练【在模型中插入伪量化模块来模拟量化模型在推理过程中进行的舍入和钳位操作，从而在训练过程中提高模型对量化效应的适应能力，获得更高的量化模型精度】_pytorch量化感知训练

作者：很楠不爱3 | 2024-04-07 08:29:41

踩

pytorch量化感知训练

一、概述

量化感知训练（Quantization Aware Training）是在模型中插入伪量化模块（fake_quant module）模拟量化模型在推理过程中进行的舍入（rounding）和钳位（clamping）操作，从而在训练过程中提高模型对量化效应的适应能力，获得更高的量化模型精度。

在这个过程中，所有计算（包括模型正反向传播计算和伪量化节点计算）都是以浮点计算实现的，在训练完成后才量化为真正的int8模型。

Pytorch官方从1.3版本开始提供量化感知训练API，只需修改少量代码即可实现量化感知训练。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/377491