yolov5模型剪枝_yolov5剪枝

剪枝：https://zhuanlan.zhihu.com/p/408899259
一、yolov5模型剪枝工程
https://github.com/midasklr/yolov5prune
二、分类模型剪枝工程
https://blog.csdn.net/zhou_438/article/details/109053992
https://mp.weixin.qq.com/s/AORmjegUb2ksVXL1n8D_6w

三、剪枝
3.1、基于BN层gamma剪枝
BN层具体操作：
在归一化后会进行线性变换，那么当系数gamma很小时候，对应的输出（Zout）会相应很小。这些响应很小的输出可以裁剪掉，这样就实现了bn层的通道剪枝。gamma可以理解为当前层每个通道权重的系数，如果系数很小，该通道计算出来的结果很小，可以去掉。
通过在loss函数中添加gamma的L1正则约束，可以实现gamma的稀疏化。
上面损失函数L右边第一项是原始的损失函数，第二项是约束，其中g(s) = |s|，λ是正则系数，根据数据集调整

实际训练的时候，就是在优化L最小，依据梯度下降算法：

​