深度学习基础知识简介 - AI小白进阶之路

一、人工智能简史

1.1 重要事件

• 人工智能相关的理论论文研究发表 1930年起
• 神经网络突触的概念在论文中提出 1943年
• 达特茅斯会议，可以称为是人工智能的元年 1956年
• 提出了很多概念，包括神经元、感知机（浅层网络） 1956年后
• 符号主义的领军人物Minsky提出感知机无法完成计算机的亦或门 1969年
• IBM、苹果等兴起的个人PC带来算力升级 1980年代
• 感知机与特征工程的发展，在当时神经网络只有两三层 1980年
• 因为算力提升，神经网络在语音和图像领域发力 1990年
• SVM机器出来 1995年
• 算力的提升使我们可以进行更复杂模型的计算，谷歌的gpu集群、英伟达的gpu集群
• 数据越来越多，也让计算准确率提升
• imagenet数据集和竞赛，李飞飞教授

1.2 人工智能两大主义

• 连接主义
• 1930～1970年大家主要主张是连接主义
• 1930～1980年符号主义都有大量的论文引用
• 1956年起连接主义才有论文被引用
• 符号主义
• 在1969年后大量的研究资源转向研究符号主义
• 美国成立Darpa组织，资助Minsky研究符号主义
• IBM做了一些专家系统，便于快速查找

二、深度学习

2.1 兴起的三大要素

• 算力的提升
• 数据的爆发
• 算法的升级
  – 连接主义的理论研究不断完善

2.2 ImageNet分类识别错误率逐年降低的原因

神经网络的层数不断增加

• 2011年的分类错误率在26.7%（XRCE）（浅层神经网络）
• 2012年的分类错误率在16.4%（AlexNet），神经网络8层
• 2014年的分类错误率在6.7%（谷歌LeNet），神经网络22层
• 2015年的分类错误率降到3.57%（ResNet），低于人类的分类错误率5%，神经网络152层
• 2016年的分类错误率降到3.1%（谷歌LeNet-v4）

三、神