YOLOv5模型剪枝压缩_yolov5剪枝

基于yolov5 v5.0分支进行剪枝，采用yolov5s模型，原理为Learning Efficient Convolutional Networks Through Network Slimming（https://arxiv.org/abs/1708.06519）。

yolov5 v5.0转NCNN和安卓移植见YOLOv5转ONNX转NCNN_MidasKing的博客-CSDN博客_yolov5转onnx

yolov5s是非常优秀的轻量级检测网络，但是有时候模型依然比较大，使得我们不得不缩减网络输入大小，但是单纯降低输入来减少运算，例如640降低到320，对检测效果损失很大，同时模型体积依然是14M左右，所以可以通过添加L1正则来约束BN层系数，使得系数稀疏化，通过稀疏训练后，裁剪掉稀疏很小的层，对应激活也很小，所以对后面的影响非常小，反复迭代这个过程，可以获得很compact的模型，步骤基本是这样。

展开讲一下原理：

我们知道BN层的计算是这样的：

所以每个channel激活大小Zout和系数γ（pytorch对应bn层的weights，β对应bias）正相关，如果γ太小接近于0，那么激活值也非常小：

那么拿掉那些γ->0的channel是可以的，但是正常情况下，我们训练一个网络后，bn层的系数是类似正态分布：

上图就是正常训练时候γ的随着epoch的直方图分布，可以看基本正太分布。0附近的值是很少的，所以没法剪枝。

通过添加L1 正则约束：

上面第一项是正常训练的loss函数，第二项是约束，其中g(s) = |s|，λ是正则系数，根据数据集调整。可以将参数稀疏化，看看如果添加到训练的损失函数中去，在进行反向传播时候：