【第62篇】DepGraph：适用任何结构的剪枝

摘要

源码：https://github.com/VainF/Torch-Pruning
结构剪枝通过从神经网络中去除结构分组参数来实现模型加速。然而，参数分组模式在不同的模型之间差异很大，这使得依赖于手动设计的分组方案的特定于体系结构的剪枝器对新的体系结构无法通用。在这项工作中，我们研究了一个极具挑战性但很少探索的任务，任何结构剪枝，以解决任意架构的一般结构剪枝，如cnn, rnn, gnn和变形金刚。实现这一雄心勃勃的目标最突出的障碍在于结构耦合，它不仅迫使不同的层同时被剪枝，而且还期望被删除的组中的所有参数始终不重要，从而避免剪枝后的显著性能下降。为了解决这一问题，我们提出了一种通用的全自动方法——依赖图(DepGraph)，以显式地建模层之间的相互依赖关系和全面的组耦合参数。在这项工作中，我们在几个架构和任务上广泛评估了我们的方法，包括用于图像的ResNe(X)t, DenseNet, MobileNet和Vision transformer，用于图形的GAT，用于3D点云的DGCNN，以及用于语言的LSTM，并证明，即使使用简单的L1 norm准则，所提出的方法也始终产生令人满意的性能。

1、简介

近年来边缘计算应用的出现要求对深度神经网络进行压缩[16,22,57]，而压缩深度神经网络的良好效果往往是以繁琐的网络架构为代价的[10,17,48]。在众多的网络压缩范式中，剪枝被证明是非常有效和实用的[7,11,29,30,41,54