深度学习的十年经典之作_learning from delayed rewards

写在前面的话： 看了“机器之心”的告别2019：属于深度学习的十年，那些我们必须知道的经典，总结回顾了从2011年至今的深度学习发展。看完之后感觉干货满满，所以特意mark下来留给自己，也留给对深度学习有兴趣的你。

2011 年：激活函数 ReLU

《Deep Sparse Rectifier Neural Networks（ReLU）》

论文链接（被引用量 4071）

在此之前，主流激活函数是sigmod，但是随着网络层次加深sigmod会出现梯度消失的现象，导致模型学不到东西了。ReLU有效的解决了梯度消失问题，目前ReLU已经被广泛的应用到深度学习实践中。
当然，ReLU 也有一些缺点。在函数为 0 的时候不可微，而神经元可能会「死亡」,也就是梯度为0。在 2011 年之后，很多针对 ReLU 的改进也被提了出来。

年度荣誉提名：（这一年的大部分研究集中于对激活函数的改进）
1、《Rectifier Nonlinearities Improve Neural Network Acoustic Models（Leaky ReLU）》

基于对 ReLU 进行了改进的激活函数，在 x 为负时不取 0。
论文链接

2、《Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)》

论文链接

3、《Self-Normalizing Neural Networks（SELUs）》

论文链接

4、《Gaussian Error Linear Units (GELUs)》

这一激活函数已证明比 ReLU 效果更好，BERT 等模型已使用。
论文链接

2012 年：掀起深度学习浪潮的 AlexNet

《ImageNet Classification with Deep Convolutional Neural Networks（AlexNet）》

论文链接（被引用量 52025）

AlexNet 经常被认为是这一波人工智能浪潮的起点，该网络在ImageNet挑战赛上吊打上一届的冠军和同届亚军，错误率与前一届冠军相比减小了 10% 以上，比亚军高出 10.8 个百分点。
AlexNet 是一个 8 层的卷积神经网络，使用 ReLU 激活函数，总共有 6 千万参数量。AlexNet 的最大贡献在于证明了深度学习的能力。它也是第一个使用并行计算和 GPU 进行加速的网络。
从此之后，各种层数更多，效果更好的网络不断出现，使得一些基于图像应用能够被广泛的应用。这几年基于内容的应用如此火热（新闻推荐类应用，各大垂直社区，直播，小视频等），与此技术有千丝万缕的联系。

年度荣誉提名：

1、《ImageNet: A Large-Scale Hierarchical Image Database（ImageNet）》

ImageNet 是斯坦福大学李飞飞等人完成的一个用于图像识别的数据集，是计算机视觉领域检验模型性能的基准数据集。
论文链接
2、《Flexible, High Performance Convolutional Neural Networks for Image Classification（Jurgen Schmidhuber 为通讯作者）》

论文链接

3、《Gradient-Based Learning Applied to Document Recognition》