模型量化 | Pytorch的模型量化基础_pytorch 量化模型

量化简介

量化是指执行计算和存储的技术 位宽低于浮点精度的张量。量化模型 在张量上执行部分或全部操作，精度降低，而不是 全精度（浮点）值。这允许更紧凑的模型表示和 在许多硬件平台上使用高性能矢量化操作。 与典型的 FP32 模型相比，PyTorch 支持 INT8 量化，

• 模型大小减少 4 倍
• 内存带宽减少 4 倍
• INT8 计算的硬件支持通常为 2 到 4 个 与 FP32 计算相比，速度快几倍

量化主要是一种技术 加速推理，量化仅支持前向传递 运营商。

PyTorch 支持多种量化深度学习模型的方法。在 大多数情况下，模型在 FP32 中训练，然后将模型转换为 INT8 中。此外，PyTorch 还支持量化感知训练，这 使用以下方法对前向和后向传递中的量化误差进行建模 假量化模块。请注意，整个计算是在 浮点。在量化感知训练结束时，PyTorch 提供 转换函数，用于将训练好的模型转换为较低精度的模型。

在较低级别，PyTorch 提供了一种表示量化张量和 使用它们执行操作。它们可用于直接构建模型 以较低的精度执行全部或部分计算。更高级别 提供了包含转换 FP32 模型的典型工作流的 API 以最小的精度损失降低精度。

pytorch从1.3 版开始，提供了量化功能，PyTorch 1.4 发布后，在 PyTorch torchvision 0.5 库中发布了 ResNet、ResNext、MobileNetV2、GoogleNet、InceptionV3 和 ShuffleNetV2 的量化模型。

PyTorch 量化 API 摘要

PyTorch 提供了两种不同的量化模式：Eager Mode Quantization 和 FX Graph Mode Quantization。

Eager Mode Quantization 是一项测试版功能。用户需要进行融合并指定手动进行量化和反量化的位置，而且它只支持模块而不是功能。

FX Graph Mode Quantization 是 PyTorch 中一个新的自动化量化框架，目前它是一个原型功能。它通过添加对函数的支持和自动化量化过程来改进 Eager Mode Quantization，尽管人们可能需要重构模型以使模型与 FX Graph Mode Quantization 兼容（符号上可追溯到 ）。请注意，FX Graph Mode Quantization 预计不适用于任意模型，因为该模型可能无法符号跟踪，我们将它集成到 torchvision 等域库中，用户将能够量化类似于 FX Graph Mode Quantization 支持的域库中的模型。对于任意模型，我们将提供一般准则，但要真正使其工作，用户可能需要熟悉，尤其是如何使模型具有符号可追溯性。torch.fxtorch.fx