YOLOv5模型剪枝压缩转载与学习笔记_yolov5为啥参数来减小模型大小变大

YOLOv5模型剪枝压缩_IEEE_FELLOW的博客-CSDN博客_yolov5剪枝

 yolov5s是非常优秀的轻量级检测网络，但是有时候模型依然比较大。

减少运算：

• 原因：缩减网络输入大小，但是单纯降低输入来减少运算，例如640降低到320，对检测效果损失很大，同时模型体积依然是14M左右。
• 改进：可以通过添加L1正则来约束BN层系数，使得系数稀疏化，通过稀疏训练后，裁剪掉稀疏很小的层，对应激活也很小，所以对后面的影响非常小，反复迭代这个过程，可以获得很compact的模型，步骤基本是这样。

• 原理
   BN层的计算
  

 每个channel激活大小Zout和系数γ（pytorch对应bn层的weights，β对应bias）正相关，如果γ太小接近于0，那么激活值也非常小：

 那么拿掉那些γ->0的channel是可以的，但是正常情况下，我们训练一个网络后，bn层的系数是类似正态分布

原因：上图就是正常训练时候γ的随着epoch的直方图分布，可以看基本正太分布。0附近的值是很少的，所以没法剪枝。

通过添加L1 正则约束

上面第一项是正常训练的loss函数，第二项是约束，其中g(s) = |s|，λ是正则系数，根据数据集调整。可以将参数稀疏化，看看如果添加到训练的损失函数中去，在进行反向传播时候：