devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

模型如何压缩？使用轻量化的模型压缩技术剪枝（pruning）

作者：IT小白 | 2024-03-05 11:44:41

赞

踩

模型如何压缩？使用轻量化的模型压缩技术剪枝（pruning）

深度学习模型参数太多，本地服务器部署没有问题，但是如果部署到移动端、边缘端，像手机、树莓派等，它们的性能不能满足，所以我们要压缩模型大小，让他们可以部署到边缘端

模型压缩：使用轻量化的模型压缩技术，如剪枝（pruning）和量化（quantization），来减小深度学习模型大小

  • 通过剪枝可以去除冗余的权重参数和不必要的神经元，从而减小模型的尺寸。
  • 量化可以将浮点数权重参数转换为更小的整数，从而减少存储和计算开销。

可以类比人脑

在这里插入图片描述

深度学习模型有点玄学，最好还是在一开始设计好模型，比后期做剪枝操作要强

在这里插入图片描述

剪枝的一些操作：

  • 聚类，效果不好
    在这里插入图片描述

  • 大网络训练作为小网络的先验知识（不常用）
    在这里插入图片描述

  • SVD，中间加上一个层（两个全连接层之间，减少参数）
    在这里插入图片描述

剪枝是什么？

在这里插入图片描述

在这里插入图片描述

如何减少模型中无用的特征图

在这里插入图片描述

在这里插入图片描述

常规套路：Conv + BN + Relu激活函数

  • BN的作用是为了防止卷积之后的梯度消失或者梯度爆炸

在这里插入图片描述

在这里插入图片描述

剪枝常用的正则化函数

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
Learning Efficient Convolutional Networks through Network Slimming

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/190780
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号