卷积神经网络的发展历程

AlexNet

卷积神经网络取得的第一个进步是AlexNet网络，它是在2012年提出的。这里有一些关键的改进：它提出了ReLu，也就是有助于防止消失的梯度问题；它也引入了dropout的概念，使得每层中神经元随机地打开和关闭，防止过拟合。如果你的数据过于相似，它不能够对相似但不同的图像进行分类，因为它过拟合了你的训练数据。

因此dropout是一种防止过拟合的正则化技术，通过随机地打开和关闭神经元，数据被迫寻找新的路径，因为它被迫寻找新的路径，网络能够更好地泛化；卷积网络也引入了数据增强的想法，AlexNet或者AlexNet的作者将经过不同角度旋转的图像送入AlexNet网络，而不是仅仅放入单一角度的，这使得它更好的适用于不同的角度，这是一个更深的网络，所以他们增加了更多的层，这提高了分类的准确性。

VGG Net

在这之后，就是VGG Net。其中最大的变化是，我们添加了更多的层。

GoogLeNet

GoogLeNet卷积核的尺寸不同。我们在同一个输入中，把它连接在一起。在单独的层操作，而不是只经过一次卷积操作。我们先是乘法，接下来是求和操作。它先是乘一些东西，再乘一