概览：快速入门神经网络剪枝！_神经元剪枝

作者：运维做开发 | 2024-06-21 22:21:52

踩

神经元剪枝

什么是模型剪枝？

•深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激活值趋近于0，将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化，而对应的技术则被称为模型剪枝。

模型剪枝是新概念吗 ？

•Dropout和DropConnect代表着非常经典的“模型剪枝技术”。

•只是这个操作仅仅发生在训练中，对最终的模型不产生影响，因此没有被称为模型剪枝技术。

•Dropout和DropConnect代表着非常经典的“模型剪枝技术”。

(1) Dropout中随机的将一些神经元的输出置零，这就是神经元剪枝。

(2) DropConnect则随机的将一些神经元之间的连接置零，使得权重连接矩阵变得稀疏，这便是权重连接剪枝。

(3) 它们是最细粒度的剪枝技术。

根据粒度的不同，至少可以粗分为4个粒度

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/744420