MobileNet V2_mobilenetv2的全连接层

 MobileNet V2网络总结构（最后一个1*1卷积层为全连接层）

每一个bottleneck如下图所示

网络中的亮点：

1.Inverted Residuals（倒残差结构）：先升维（PW），再卷积（DW），后降维（PW）

2.Linear Bottlenecks:降维后用的是线性激活（在代码中相当于1*1的卷积），而不是relu6

激活函数可以增加特征的非线性，一个最常见的激活函数便是ReLU。ReLU一定会带来信息损耗，而且这种损耗是没有办法恢复的，ReLU的信息损耗是当通道数非常少的时候更为明显，因此使用线性激活函数

参考：1.知乎MobileNet V2 论文初读 - Michael Yuan的文章 https://zhuanlan.zhihu.com/p/33075914

2.知乎帖子 MobileNet v1 和 MobileNet v2 - 知乎 (zhihu.com)

          3.霹雳啪啦MobileNet V2 ppt