模型优化论文笔记1----综述_模型训练优化论文

之前在做基于深度神经网络的自动调制识别，然而设计的网络模型参数大，这阻碍了将模型部署到边缘设备，实现调制识别的真正落地。由此是否能够将网络模型进行优化，缩小其存储呢？博主接下来的一段时间要调研一下这个问题。

先是看了一篇综述，希望对现有或以往的模型优化有个大概了解。
[1]赖叶静,郝珊锋,黄定江.深度神经网络模型压缩方法与进展[J].华东师范大学学报(自然科学版),2020(05):68-82.

Introduction

背景：
DNN的高内存消耗与高计算量限制了其在有限资源的硬件平台上的部署，也不能满足实时处理需求，不适用于移动设备，因而可以通过模型压缩来降低内存成本和加速运算。
四种方法：网络剪枝，量化，知识蒸馏，紧凑神经网络设计。
（1）网络剪枝：主要通过设计一个标准去判断参数的重要程度, 再根据重要性去除冗余参数.
（2）量化：减少表示每个权值和激活值所需的比特数, 如二值化 (1-bit)、int8 量化 (8-bit) 等.
（3）知识蒸馏：主要利用大型网络的知识, 并将其知识转化到紧凑小型的学生模型中.
（4）紧凑神经网络：通过设计一个特殊结构的卷积核或紧凑卷积的计算单元, 来降低模型的存储和计算复杂度 。

接下来详细介绍了每种方法：

网络剪枝

基本思想：去除网络荣誉参数，减小模型体积
方法：四种剪枝粒