20190722-deeplearning-note

引言

一个基于神经网络模型的视觉模型中，卷积和归一化层是最为耗时的两种layer。卷积数据计算密集类型，今年来大量的优化主要集中在各种设备上的卷积加速。 归一化层通过计算一个批量中的均值与方差来进行特征归一化。众多实践证明，它利于优化且使得深度网络易于收敛。批统计的随机不确定性也作为一个有利于泛化的正则化项。BN 已经成为了许多顶级计算机视觉算法的基础。添加归一化层作为提高算法性能的很好的一种策略，但由于像BN遭受数据同步延时的问题，现在逐渐被一些新的normalization方式所替代。

卷积

认识卷积

卷积定义

$$h(x) = f(x)*g(x) = \int_{ - \infty }^{ + \infty } {f(t)g(x - t)dt}$$

$f(t)$先不动， $g(-t)$相当于$g(t)$函数的图像沿y轴（t=0）做了一次翻转。$g(x-t)$相当于$g(-t)$的整个图像沿着t轴进行了平移，向右平移了x个单位。他们相乘之后围起来的面积就是$h(x)$。

离散卷积的定义

$$h(x) = f(x)*g(x) = \sum_{\tau = -\infty}^{+\infty}f(\tau)g(x-\tau)$$

其实，深度学习中的卷积对应于数学中的cross correlation. 从卷积的定义来看，我们当前在深度学习中训练的卷积核是翻转之后的卷积核。

下面是一些介绍卷积的文章和常见卷积类型统计表：

• A Comprehensive Introduction to Different Types of Convolutions in Deep Learning
• A Tutorial on Filter Groups (Grouped Convolution)
  • AlexNet
  • MobileNet
• An Introduction to different Types of Convolutions in Deep Learning
• Convolution arithmetic
• Deconvolution and Checkerboard Artifacts

卷积的实现

计算卷积的方法有很多种，常见的有以下几种方法:

• 滑窗：这种方法是最直观最简单的方法。但是，该方法不容易实现大规模加速，因此，通常情况下不采用这种方法 (但是也不是绝对不会用，在一些特定的条件下该方法反而是最高效的.)
• im2col: 目前几乎所有的主流计算框架包括[Caffe]¹, MXNet等都实现了该方法。该方法把整个卷积过程转化成了GEMM过程，而GEMM在各种BLAS库中都是被极致优化的，一般来说，速度较快.
• FFT: 傅里叶变换和快速傅里叶变化是在经典图像处理里面经常使用的计算方法，但是，在 ConvNet 中通常不采用，主要是因为在 ConvNet 中的卷积模板通常都比较小，例如3×3 等，这种情况下，FFT 的时间开销反而更大.
• [Winograd]²: Winograd 是存在已久最近被重新发现的方法，在大部分场景中，Winograd 方法都显示和较大的优势，目前cudnn中计算卷积就使用了该方法.

计算复杂度分析

• 假设输入$I = R^{C_0H_0W_0}$, 卷积核大小为$k$, 输出$O = R^{C_1H_1W_1}$， 则卷积过程的计算量为：

$$(k^2C_0*H_1W_1)*C_1$$

使用Depthwise separable convolution卷积的计算量为:

$$(k^2H_1W_1C_0 + C_0C_1*H_1W_1)$$

那么计算量之比为

$$\frac{(k^2H_1W_1C_0 + C_0C_1H_1W_1)}{(k^2C_0H_1W_1)*C_1} =\frac{1}{C_1} + \frac{1}{k^2} \approx \frac{1}{k^2}$$

一般情况下，$k^2 << C_1$, 所以当$k=3$的时候，计算量之比约为原来的$\frac{1}{9}$.

• 假设input的$H_0 = W_0$，用$w$表示，$k$是卷积核的大小，$p$表示填充的大小，$s$表示stride步长

$$o = \frac{w - k + 2p}{s} + 1$$

Normalization

每个子图表示一个feature map张量，以$N$为批处理轴，$C$为通道轴，$(H,W)$作为空间轴。其中蓝色区域内的像素使用相同的均值和方差进行归一化，并通过聚合计算获得这些像素的值。从示意图中可以看出，GN没有在N维度方向上进行拓展，因此batch size之间是独立的，GPU并行化容易得多。

• batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好；
• layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显；
• instanceNorm在图像像素上，对HW做归一化，用在风格化迁移；
• GroupNorm将channel分组，然后再做归一化；
• SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。

Batch Normalization

需要比较大的Batch Size，需要更强的计算硬件的支持。

A small batch leads to inaccurate estimation of the batch statistics, and reducing BN’s batch size increases the model error dramatically

尤其是在某些需要高精度输入的任务中，BN有很大局限性。同时，BN的实现是在Batch size之间进行的，需要大量的数据交换。

batch normalization存在以下缺点：

• 对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布；
• BN实际使用时需要计算并且保存某一层神经网络batch的均值和方差等统计信息，对于对一个固定深度的前向神经网络（DNN，CNN）使用BN，很方便；但对于RNN来说，sequence的长度是不一致的，换句话说RNN的深度不是固定的，不同的time-step需要保存不同的statics特征，可能存在一个特殊sequence比其他sequence长很多，这样training时，计算很麻烦。（参考于https://blog.csdn.net/lqfarmer/article/details/71439314）

Layer Normalizaiton

LN中同层神经元输入拥有相同的均值和方差，不同的输入样本有不同的均值和方差； BN中则针对不同神经元输入计算均值和方差，同一个batch中的输入拥有相同的均值和方差。

所以，LN不依赖于batch的大小和输入sequence的深度，因此可以用于batchsize为1和RNN中对边长的输入sequence的normalize操作。

Instance Normalization

BN注重对每个batch进行归一化，保证数据分布一致，因为判别模型中结果取决于数据整体分布。

但是图像风格化中，生成结果主要依赖于某个图像实例，所以对整个batch归一化不适合图像风格化中，因而对HW做归一化。可以加速模型收敛，并且保持每个图像实例之间的独立。

Group Normalization

GN does not exploit the batch dimension, and its computation is independent of batch sizes.

从实验结果中可以看出在训练集合上GN的valid error低于BN，但是测试结果上逊色一些。这个 可能是因为BN的均值和方差计算的时候，通过*随机批量抽样（stochastic batch sampling）*引入了不确定性因素，这有助于模型参数正则化。 而这种不确定性在GN方法中是缺失的，这个将来可能通过使用不同的正则化算法进行改进。

LRN（Local Response Normalization）

动机

在神经深武学有一个概念叫做侧抑制(lateral inhibitio)，指的是被激活的神经元抑制相邻的神经元。 归一化的目的就是“抑制”，局部响应归一化就是借鉴侧抑制的思想来实现局部抑制，尤其是当我们使用ReLU 的时候，这种侧抑制很管用。

好处

有利于增加泛化能力，做了平滑处理，识别率提高1~2%

参考文献

• Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
• Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton. Layer normalization.
• Group Normalization
• AlexNet中提出的LRN
• VGG：Very Deep Convolutional Networks for Large-Scale Image Recognition
• BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
• Fast Algorithms for Convolutional Neural Networks

优化

梯度下降法（Gradient Descent）

梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。 一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向， 因为该方向为当前位置的最快下降方向，所以也被称为是"最速下降法"。最速下降法越接近目标值，步长越小，前进越慢。 梯度下降法的搜索迭代示意图如下图所示：

梯度下降法的缺点：

• 靠近极小值时收敛速度减慢，如下图所示；
• 直线搜索时可能会产生一些问题；
• 可能会“之字形”地下降。

参考文献

• 梯度下降(gradient descent)
• 梯度下降优化算法
• 常见的几种最优化方法

其他参考文献

深度学习教程

CS231n: Convolutional Neural Networks for Visual Recognition.

计算平台

1. arm平台
2. linux上编译arm交叉编译链
3. How to Build a GCC Cross-Compiler

常用数据集合

https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-learning-datasets/ 这里我们列出了一组高质量的数据集，研究这些数据集将使你成为一个更好的数据科学家。 我们可以使用这些数据集来学习各种深度学习技术，也可以使用它们来磨练您的技能，理解如何识别和构造每个问题，考虑独特的应用场景!

图像类

自然语言处理类

语音类

Analytics Vidhya实践问题

• Twitter情绪分析
  • 描述：识别是否包含种族歧视及性别歧视的推文。
  • 大小：3MB
  • 31,962 tweets
• 印度演员的年龄识别数据集
  • 描述：根据人的面部属性，识别人的年龄的数据集。
  • 大小：48MB
  • 19,906 images in the training set and 6636 in the test set
• 城市声音分类数据集
  • 描述：该数据集包含来自10个类的城市声音的8732个标记的声音片段，每个片段时间小于4秒。
  • 大小：训练数据集3GB，训练数据集2GB。
  • 8732 labeled sound excerpts (<=4s) of urban sounds from 10 classes

more dataset

• 机器之心整理的数据集合
• DHCD_Dataset

Footnotes

1. https://github.com/BVLC/caffe/blob/master/src/caffe/util/im2col.cpp ↩

2. https://arxiv.org/abs/1509.09308v2 ↩