【深度学习】深度学习模型

深度学习的模型

• 感知机：1957年Rosnblatt提出，是支持向量机与神经网络的基础，是二分类的线性分类模型，寻找超平面

• 1985年，Rumelhart和Hinton等人提出了后向传播（Back Propagation，BP）算法，1986年的，指的是他们另一篇paper：Learning representations by back-propagating errors)，使得神经网络的训练变得简单可行，这篇文章在Google Scholar上的引用次数达到了19000多次

• 深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。

• 使用ReLU作为激活函数的网络，其网络输出通常都非常稀疏。

• Dropout方法和数据增强一样，都是防止过拟合的。Dropout应该算是AlexNet中一个很大的创新

• 2012年，Hinton的学生Alex Krizhevsky在寝室用GPU死磕了一个Deep Learning模型，一举摘下了视觉领域竞赛ILSVRC 2012的桂冠

• ZF Net， 2013 视觉领域竞赛ILSVRC比赛冠军

• GoogleNet， 2014 ILSVRC比赛冠军

• VGGNet， 2014 ILSVRC比赛中的模型，图像识别略差于GoogLeNet，但是在很多图像转化学习问题(比如object detection)上效果奇好。

• GAN，生成对抗网络，近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：捕获数据分布的生成模型G，和估计样本来自训练数据的概率的判别模型D。生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。机器学习的模型可大体分为两类，生成模型（Generative Model）和判别模型（Discriminative Model）。判别模型需要输入变量 ，通过某种模型来预测 。生成模型是给定某种隐含信息，来随机产生观测数据。举个简单的例子，

  • 判别模型：给定一张图，判断这张图里的动物是猫还是狗
  • 生成模型：给一系列猫的图片，生成一张新的猫咪（不在数据集里）
    在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。

  目前GAN最常使用的地方就是图像生成，如超分辨率任务，语义分割等等。

• ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，深度残差网络，ResNet可以解决“随着网络加深，训练误差不下降”的问题，这是因为Resnet提供了两种选择方式，也就是identity mapping和residual mapping，如果网络已经到达最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直处于最优状态了，网络的性能也就不会随着深度增加而降低了。

• Wavenet模型可以生成原始语音

• AlphaZero 是 AlphaGo Zero 的通用化进化版本，它继续保持了 AlphaGo Zero 中不需要人工特征、利用深度神经网络从零开始进行强化学习、结合蒙特卡洛树搜索的特点，然后更新网络参数，减小网络估计的比赛结果和实际结果之间的误差，同时最大化策略网络输出动作和蒙特卡洛树搜索可能性之间的相似度。

• BigGAN: 最多要用512个TPU训练，费用11万美金

• EfficientNet：谷歌大脑团队发表于 ICML 2019，通过作者提出来的高效的复合模型扩张方法结合神经结构搜索技术从网络深度(depth)、网络宽度(width)和输入图像分辨率 (resolution)三个维度放大网络，不仅比别的网络快很多，而且精度也更高。

• GPT-3：目前史上最大AI模型，1750亿参数