PyTorch1.13 亮点一览，TorchEval、MultiPy 、TorchSnapshot 新库大解读

前言

近日，PyTorch 发布了 PyTorch 1.13 版本，本次新版发布主要包含以下亮点：

• 稳定版本的 BetterTransformer API，无需修改模型即可支持通用 Transformer 模型在推理时候使用快速路径执行 （fastpath execution）。除此之外还对 Transfomer 常用尺寸的 Add + Matmul 线性代数核函数进行了加速，以及默认使用嵌套 Tensor。

• 引入新的 CUDA 版本：11.7，同时弃用旧的 CUDA 版本：10.2 和 11.3。

• functorch 转移到 PyTorch 库内，不再需要安装单独的 functorch 包。

• 支持 Apple M1 系列芯片的原生构建。

随着 PyTorch 1.13 的发布，MMCV 从 1.7.0 版本也开始为 PyTorch 1.13 提供预编译包，并且提供了 macOS 的预编译包，欢迎大家安装使用：

pip install -U openmim
mim install mmcv-full
1
2

MMCV GitHub 主页：https://github.com/open-mmlab/mmcv

PyTorch 库的新变化

在发布 PyTorch 1.13 版本的同时，还对 PyTorch 相关库进行了一系列改进，此次 PyTorch 库的更新包括：

• TorchAudio，新增 Hybrid Demucs 模型和 SUPERB 基准数据集，以及用于编码媒体文件的 StreamWriter 类。

• TorchData，进一步整合了 DataLoader2 的 API，扩展了对通过 DataPipes 从其他云存储提供商加载数据的支持，包括 AWS、谷歌云存储和 Azure。

• TorchEval，提供常见评测指标，为 PyTorch 引入原生的评测指标支持。（本周 OpenMMLab 也发布了评测库 MMEval，详情见**往期内容**）

• torch::deploy，提供了一种在单个进程中使用多个独立 Python 解释器运行的方法，而无需共享全局解释器锁。

• TorchMultimodal，一个用于大规模训练 SoTA 多任务和多模态模型的 PyTorch 算法库。

• TorchRec，简化了优化器融合和分布式切片相关的 API，对集合通信 Tensor 应用量化和混合精度以提高训练效率。

• TorchSnapshot，一个用于 PyTorch 的高性能、高内存效率的 checkpoint 库，设计时考虑到了大型、复杂的分布式工作负载。

• TorchVision，引入了一个新的模型注册 API，新增两个视频分类模型，增加了 Swin Transformer V2 模型架构和 MaxViT，以及新增了 Simple Copy-Paste 数据增强策略。

• Torch-TensorRT，新增 torch.fx 转换到 TensorRT 的前端。

• TorchX，增加了新的列表 API，实验跟踪，弹性训练和改进的调度器支持。

受限于篇幅，本文将只对新增的几个 PyTorch 库进行展开介绍：TorchEval，torch::deploy 和 TorchSnapshot。

TorchEval

TorchEval 是 PyTorch 新发布的一个评测库，具有以下特点：

• 包含了丰富的评测指标，通过 PyTorch 尽可能地利用向量化和 GPU 加速。

• 使用 torch.distributed 与分布式训练工具无缝集成。

• 设计时考虑到了可扩展性：可以自由地创建自己的评测指标。

• 为基于 PyTorch 的模型提供分析内存和计算要求的工具。

TorchEval 中的评测指标提供了两种使用方式，分别是基于类的接口和函数式的接口。函数式的接口可以在 torcheval.metrics.functional 中找到，在使用单个进程评测时使用函数式接口比较方便。当需要多进程评测时候，应该使用 statefull 的类接口，以支持多进程之间的状态同步。

目前 TorchEval 已经支持了一些基础常用的分类、回归和排序的评测指标，并且提供了单进程和多进程评测的示例。

torch::deploy （MultiPy）

torch::deploy（MultiPy）是一个 C++ 库，使你能够在生产环境中运行 Eager 模式的 PyTorch 模型，而无需对模型进行任何修改以支持导出可部署的静态图。

Python 已经成为训练深度神经网络广泛使用的语言，然而当模型被用于推理时，它们通常被从 Python 程序中提取为 TensorFlow Graph 或 TorchScript，以满足推理的性能要求以及方便打包。

但是这个提取过程在 PyTorch 中可能很耗时，这阻碍了快速的原型设计。 MultiPy 展示了如何能够在使用 Python 进行推理的同时，满足性能要求和打包限制。

MulitPy 定义了一种新的模型容器格式，其中包含本地 Python 代码和数据。这种方法不需要模型的静态图提取步骤，简化了模型部署的过程，并使之更容易整合现有的 Python 库。特别的是，MultiPy 提出了一种在单个进程中使用多个 Python 解释器的方法，摆脱 Python GIL 的限制以实现可扩展的推理。

MultiPy 在 GitHub 上的一些流行的 PyTorch 模型上进行了评估，展示了它们如何被打包成推理格式，并与 TorchScript 比较了它们的性能。对于较大的模型，MultiPy 打包的 Python 模型的性能与 TorchScript 相同，而对于较小的模型，多解释器方法确保推理仍然是可扩展的。

如下伪代码展示了如何使用 torch::deploy 调用 Python 模型进行推理：

torch::deploy::InterpreterManager manager(4);

// access one of the 4 interpreters
auto I = manager.acquireOne();

// run infer from your_model.py
I.global("your_model", "infer")({at::randn({10, 240, 320})});
1
2
3
4
5
6
7

TorchSnapshot

TorchSanpshot 是一个为 PyTorch 应用专门开发的 checkpoint 工具，设计时考虑到了大型、复杂的分布式工作负载。具有以下特点：

1. 高性能

• TorchSnapshot 提供了一个采用各种优化加速的 checkpoint 实现，包括大多数张量类型的零拷贝序列化、设备到主机拷贝和存储 I/O 的 Overlap、并行化存储 I/O。

• TorchSnapshot 通过在所有 rank 上分配写负荷，大大加快了分布式数据并行保存 checkpoint 的速度。

• 当主机内存充足时，TorchSnapshot 允许在所有存储 I/O 完成之前恢复训练，减少保存 checkpoint 所阻断的时间。

2. 高效的内存使用

• TorchSnapshot 的内存使用情况适应于主机的可用资源，大大减少了保存和加载 checkpoint 时出现内存不足问题的情况。

• TorchSnapshot 支持对快照中的单个对象进行有效的随机访问，即使快照被存储在云对象存储中。

3. 高可用性

• 简单的 API，在分布式和非分布式工作负载之间是一致的。

• 与常用的云对象存储系统开箱即用的集成，比如 S3 和谷歌云存储。

• 对于支持的工作负载，在并行进程数量变化时自动重新分区。

4. 安全性

• 安全的张量序列化，不依赖 pickle （正在支持中）。

结语

此次 PyTorch 1.13 的更新，除了 PyTorch 本身 API 的变化以及新 Feature 的增加以外，也有许多 PyTorch 库也进行了更新。这些 PyTorch 库涉及领域从视觉、语音到推荐算法和多模态，从评测、数据工具到 checkpoint 和部署工具。这些 PyTorch 库的更新表明，PyTorch 正专注于在许多领域开发通用和可扩展的 API，使社区更容易在 PyTorch 上构建生态系统项目。

本次提到的更新中，关于部署工具的更新有两个，分别是 Torch-TensorRT 新增 torch.fx 前端，和 torch::deploy（MultiPy）Beta 版本的发布。

PyTorch 由于其动态图的特性，在模型部署方面天然的弱于拥有静态图特性的深度学习框架。PyTorch 一直在尝试寻找好的解决方法，目前可以看到在动态图静态化方面，已经有 TorchScript 和 torch.fx 两个方案。而 MultiPy 或许是提出了另外一个思路，跳过动态图静态化这一步，直接将 Python 程序部署推理，期待 MultiPy 后续的发展。

另外本次 TorchEval 的发布也是一大亮点，截止目前，今年已经有三个开源的算法评测库发布，按照时间顺序分别是 huggingface/evaluate，pytorch/torcheval 和 open-mmlab/mmeval，再加上更早时候的 Lightning-AI/metrics，目前已有四个专注于算法评测的工具库。随着模型训练工具链逐步完善，模型评测工具链的价值也被大家所重视。

在这些开源评测库之中，OpenMMLab 开源的 MMEval 定位为统一开放的跨框架算法评测库。与 TorchEval 相比，MMEval 具有多框架支持的能力，并且提供了更为丰富和细分的评测指标，具体可以参考往期内容。MMEval 目前已支持 20+ 细分任务领域的评测指标，更多的评测指标正在火热添加中。同时我们也发布了一些为 MMEval 添加 Metric 的任务，欢迎大家参与：https://github.com/open-mmlab/mmeval/issues/50

参考链接

• https://pytorch.org/blog/PyTorch-1.13-release/

• https://pytorch.org/blog/new-library-updates-in-pytorch-1.13/

• https://github.com/pytorch/torcheval

• https://github.com/pytorch/multipy

• https://arxiv.org/pdf/2104.00254.pdf

• https://github.com/pytorch/torchsnapshot