devbox
weixin_40725706
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【CNN优化加速】01模型压缩基础：常见策略、卷积相关概念_卷积cnn 教师学生网络

作者：weixin_40725706 | 2024-07-17 08:33:27

赞

踩

卷积cnn 教师学生网络

目录

背景介绍

CNN优化加速问题

加速策略

1. 知识蒸馏

2. 量化

3. 剪枝

4. 低秩分解

5. 权重共享/参数共享

6. 动态网络架构（自适应宽度和高度）

7. 注意力模块轻量化

8. 更轻的网络架构设计

9. 权重共享NAS

10. 硬件加速

11. 编译器支持

基本概念

1. 感受野（Receptive Field）

 2. 分辨率（Resolution）

3. 深度（Depth）

4. 宽度（Width）

5. 下采样（Down-Sampling）

6. 上采样（Up-Sampling）

7. 参数量（Params，空间复杂度，占用显存的量）

8. 计算量（FLOPs，浮点运算数，时间复杂度，对应于GPU算力）

9. 模型尺寸

卷积类型

1. 标准卷积（Convolution）

2. 深度卷积（Depthwise Convolution）

3. 分组卷积（Group Convolution）

4. 空洞卷积（Dilated Convolution）

5. 转置卷积（Transposed Convolution）

6. 可变形卷积（Deformable Convolution）

其他操作

1. 池化（pooling）

2. Addition、Concatenate分支

3. Channel shuffle

常用激活函数

1. ReLU系列

2. Sigmoid系列

背景介绍

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/839022

推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。