深度学习SOTA网络简析

      深度学习毋庸置疑是目前很火热的研究方向，CSDN上面有大量对经典论文的解读，但是读别人二次翻译的文章犹如看原文的2D投影，难以窥见原文的奥妙，甚至部分论者断章取义，误人子弟为祸不浅，所以虽然我也简单解读两篇，但才疏学浅，只是聊以笔记，看官见笑。 

        MobileNet一言以蔽之：DepthWise卷积+PointWise卷积，就是指在FeatureMap内部卷积和纯粹FeatureMap之间卷积相结合取代常规FeatureMap之内和之间同时卷积，这样做可以节省空间和计算时间，便于在移动端部署，同时不会损失太多精度。（可否进行混合的DepthWise卷积，比如一个点由临近的若干个Feature进行，而不是全部的Feature进行。不知道Tensorflow里面的Seperable 卷积是不是指的这种卷积）。  

        ResNet：总结起来就是：各种直连中，直接跳连最好（里面不加任何卷积），采用按元素加法。

 

                   并且研究了跳连的最好的形式，先Conv，add后做Bn，Relu是最好的； 优于传统的add后接上Conv、Bn、Relu。分别在2015和2016的ECCV发表两篇文章解释这个事情。 

       

      Full pre-Activation效果最好。

 

     HourGlass网络：沙漏网络的每一个Hourglass模块都是由类似于U-net结构，但是Channel个数不变，图像尺寸逐渐变小，而Chanel在也不进行concate，而是直接Elementwise加。 

                                                                                 每一个HourGlass模块

 

                                                                          带监督模块的的HourGlass模块

 

 

     BottleNeck：指的是通过卷积使FeatureMap的个数从大变小，又由小变大的过程的一种网络结构。一般情况下采用1*1的卷积核，所以FeatureMap的HW不会变，而Channel会变大变小；