李宏毅学习笔记6.深度学习概述_李宏毅老师有没有讲过残差网络

简介

从DL的历史开始，结合机器学习的三板斧，讲解了FC的前向计算，最后给出了手写数字识别的例子。
DL很火，老师大概说了一下它能用的场景，给出了Jeff Dean（2009年当选美国工程院院士，2018年 4月3日，出任谷歌旗下搜索与人工智能（AI）业务部门的高级副总裁。）的一张ppt。

图中显示的是DL在谷歌内部的项目数量。
在线Latex公式

DL的发展

• 1958: Perceptron (linear model)
• 1969: Perceptron has limitation
• 1980s: Multi-layer perceptron
• Do not have significant difference from DNN today
• 1986: Backpropagation
• Usually more than 3 hidden layers is not helpful
• 1989: 1 hidden layer is “good enough”, why deep?
• 2006: RBM initialization (breakthrough)，这里RBM相当于换了名字的NN，但是后来证明没啥用
• 2009: GPU
• 2011: Start to be popular in speech recognition
• 2012: win ILSVRC image competition
里面有些生词：
受限玻尔兹曼机，英文名字是Restricted Boltzmann Machine，简称RBM。
https://blog.csdn.net/u013631121/article/details/76652647
ImageNet Large Scale Visual Recognition Challenge是图像分类领域的比赛，也叫人工智能“世界杯”之称的ImageNet大规模视觉识别挑战赛。

DL三部曲

第一步

NN的结构

到这里接上一节课内容
Different connection leads to different network structures
Network parameter