轻量级网络--MobileNet V1、V2、V3(学习记录；完善ing)_mobilenetv2

参考文献：MobileNets: Efficient ConvolutionalNeural Networks for Mobile Vision Applications
作者：Andrew G. Howard, Menglong Zhu, et al
单位：Google
发表会议及时间：CVPR 2017

前言

1. 前期知识储备

• 卷积操作： 掌握CNNs具体卷积过程,熟悉卷积核的参数意义
• ResNet： 了解残差网络基本结构，残差块的构成
• 激活函数： 了解激活函数的意义和优缺点

2. 学习目标

• 熟悉深度可分离卷积过程，体会其优势
• 掌握MobileNet构建方式，了解超参数概
• 了解后续版本创新点
• 代码复现MobileNet结构

研究背景

《动机》

1. 自AlexNet以来，神经网络倾向于更深更复杂的网络结构，但不一定在时间和内存大小上高效
2. 实际应用环境中，需要在有限的算力下实时计算

《现有方法》

1. 模型压缩：在已经训练好的模型上进行压缩，使得网络携带更少的网络参数
2. 直接训练一个小型网络：从改变网络结构出发，设计出更高效的网络计算方式，从而使网络参数减少的同时,不损失网络的性能。

《本文方法》

1. 提出了一类新型网络架构,根据应用需求与资源限制(延迟,大小)，构建相匹配的小型网络
2. MobileNets主要致力于优化延迟，但也可以产生小型网络
3. MobileNets主要基于深度可分离卷积(depthwise separable convolutions)构成，通过设置两个超参数，实现准确率和延时性之间的平衡

研究成果

在ImageNet数据集上，在参数量减少了三十多倍的条件下，准确率与VGG16相近，只相差了0.9%（Table 8）

在更小结构的MobileNet中，在参数量减少了四十多倍的条件下，性能超越了Alexnet，top-1 accuracy达到