神经网络与深度学习发展简史里程碑大事记_时间轴表示神经网络发展历程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：
对于入坑神经网络与深度学习的同学来说，了解其发展简史是必要的，作者整理了一些其里程碑大事记。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、神经网络第一阶段（1950s~1970s）感知器时代

1943年，《神经活动中内在思想的逻辑演算》提出了第一个神经网络数学模型（将神经元抽象为逻辑门，神经网络雏形）。
1956年，人工智能（AI）被定义。
1958年，感知机（最简单的只有两层神经元，一种线性二分类器）被提出，第一个能够学习权重并进行简单分类的人工神经网络，已拥有现今神经网络的主要构件与思想（自动学习权重、梯度下降算法、优化器、损失函数等）。
1960年，感知机与最小二乘法结合。
1969年，感知机发展至顶峰，异或问题不能被感知机解决——感知机本质上是一个线性模型被证明，多层感知机网络的堆叠不能解决数据线性不可分问题（简单来说就是划直线一刀切分两类问题，一刀切不了就是非线性）。神经网络由此第一次寒冬。
1970s~1980s，神经网络寒冬，被符号主义和行为主义学派批评。

二、神经网络第二阶段（1986~1998）BP算法时代

1986年，引入激活函数sigmoid函数，为神经网络引入了非线性，解决了感知机遗留问题。实现了多层网络BP算法，迄今为止应用最广泛的神经网络训练更新算法。标志神经网络复兴。
1989年，LeNet卷积神经网络被提出。
1991年，BP算法被指出存在梯度消失和梯度爆炸灾难，再对神经网络泼了一盆冷水。
1990s中期，同生态位的机器学习模型SVM（支持向量机）名盛一时，其理论完备、可解释性强，且解决了神经网络的一些遗留历史问题，神经网络再次冷寂。
1997年，LSTM（长短期记忆网络）被提出。
1998年，七层的卷积神经网络LeNet-5实现了手写数字识别。
1990s困于神经网络自身不足、机器学习和统计学习于同时期兴起、1990s算力十分有限，神经网络再次进入低谷。

三、神经网络第三阶段（2006~至今）深度学习时代

21世纪初，借助GPU和分布式计算，计算机算力显著提升，为深度学习奠定基础。
2006年，提出深度置信网络（DBN）训练反复噶，深度学习时代来临。
2011年，ReLu激活函数被提出，很好地解决了Sigmoid函数在梯度传播过程中的梯度消失问题，ReLu函数流行至今。
2012年，AlexNet网络在LeNet-5的基础上改进，首次使用ReLu激活函数、使用Dropout技巧、最大池化、提出了LRN（局部响应归一化）层、数据增强、加深网络（Alexnet一共8层）等，在图像分类大赛ImageNet2012中大获全胜、一骑绝尘，掀起持续至今的深度学习爆发热潮。

2014年，VGGNet被提出，于2014年Imagenet比赛定位项目第一名和分类项目第二名，常见的VGG版本是VGG16和VGG19（不包括池化和softmax层）。VGG作者发现AlexNet曾经用到的LRN（局部响应归一化）层，无性能提升，遂弃用。此外VGG作者还有一个重要发现是多个3x3的小卷积核效果要比单个大卷积核好，沿用至今。
2014年同年，GoogLeNet被提出（不写作GoogleNet，是为了致敬LeNet），2014年ILSVRC冠军模型，做了更大胆的网络改革，而不是像VGG继承了LeNet和Alexnet的一切框架。GoogLeNet作者指出获得高质量模型最保险的做法就是增加网络模型的深度或宽度，其副作用为容易过拟合、计算复杂、梯度消失，为解决这一困难，GoogLeNet给出的解决方案是将全连接层甚至一般的卷积都转化为稀疏连接，提出了著名的inception模块，以学习不同尺度的特征。
2014年，GAN（生成对抗网络）问世。

2015年，ResNet（残差网络）问世，ILSVRC2015比赛冠军模型，其跳连接方式允许保留之前网络层的输出，解决了梯度弥散、网络退化问题，其非线性更强，更适合解决各种复杂的问题。残差思想是一个重要突破。

2016年，轻量级卷积神经网络SqueezeNet问世。其作者将CNN模型设计的研究总结为1、模型压缩，使其变成小模型 2、CNN微观结构，对单个卷积层进行优化设计，如1x1小卷积核、可分解卷积或模块化卷积。3、CNN宏观结构：网络架构的层数、连接方式。4、设计空间：不同超参数、网络结构、优化器的组合优化。
2016年，基于GAN的AlphaGo击败围棋世界冠军李世石，打破人类尊严的最后堡垒。

2017年，ResNet的升级版DenseNet问世。

2017年，Google提出了Transformer模型，这是一种基于自注意力机制（Self-Attention）的新型架构，它在自然语言处理
（NLP）任务中取得了巨大成功。Transformer模型的提出为后续的BERT、GPT等模型奠定了基础。

2018年，Google发布BERT（Bidirectional Encoder Representations from Transformers），一种预训练的深度双向表示，显著提高了多项NLP任务的性能。
2018 年，Facebook 推出 PyTorch 开源库，以其动态计算图和易用性受到广泛欢迎，成为深度学习研究的重要工具之一
2018年，基于GAN的DeepMind的AlphaZero程序在国际象棋、围棋和日本将棋中击败世界级程序，展示了深度学习与自我对弈训练的强大能力。

2019 年，OpenAI 推出 GPT-2 模型，成为当时最大的预训练语言模型，引发对大规模预训练模型的讨论和关注。
2019年，AlphaStar战胜人类职业选手：DeepMind的AlphaStar首次在星际争霸II中以5:0战胜人类职业选手，展示了复杂环境下的深度学习能力。

2020年，GPT-3的发布：OpenAI发布GPT-3，一个拥有1750亿参数的语言模型，其能力在多个领域刷新了纪录，成为AI生成文本和程序代码的标杆。
2020年，AlphaFold解决蛋白质折叠问题：DeepMind的AlphaFold系统在“生命科学的奥林匹克”——蛋白质折叠预测竞赛CASP中大获全胜，被誉为生物学领域的一大突破。

2021年，DALL·E的发布：OpenAI发布了DALL·E，一个基于GPT-3的图像生成模型，能够根据文本描述生成高质量、复杂的图像。
2021年，Transformer在计算机视觉领域的广泛应用：随着ViT（Vision Transformer）的提出，Transformer架构开始在计算机视觉任务中大放异彩。

2022 年，OpenAI 推出 GPT-3.5 模型，成为当时最先进的自然语言处理模型，具备极高的语言理解和生成能力。
2023 年，OpenAI 推出 ChatGLM 模型，实现基于 GPT-3.5 的聊天机器人，具备与人类对话的能力。
2023 年，微软推出 Microsoft Learn for AI，为开发者提供全面的 AI 教育课程。
2023 年，亚马逊推出 Amazon SageMaker，为开发者提供一站式的机器学习服务。

……事实上自2016年后，AI成果在诸多领域都井喷式发展，在此根本不胜枚举，只选了几个名气较大的典型案例。自2018年后，工业界的AI发展速度已经远远超过学术界对AI的理解，至今后者对前者已是望尘莫及。日后我们AI学习者的本领主要在于理解并熟练运用各大AI巨头发布的产品，能熟练使用GPT解决问题，就已经超越了绝大多数人。