DW李宏毅机器学习Task4_using parallel computing techniques to speed up ma

1、Deep Learning 的历史

• 1958：Perceptron（linear model）
• 1969：Perceptron has limitation
• 1980s：Multi-layer perceptron
  （Do not have significant difference from DNN today）
• 1986：Backpropagation
  （Usually more than 3 hidden layers is not helpful）
• 1989：1 hidden layer is “good enough”, why deep?
• 2006：RBM initialization（breakthrough）
• 2009：GPU
• 2011：Start to be popular in speech recognition
• 2012：win ILSVRC image competition

2、Deep Learning的三个步骤

Step1：define a set of function——Neural Network

最常见的connection method：Fully Connet Feedforward Network

一个Network就是一个function


layer1的neuron会与layer2的每一个neuron相连接，因此称为Fully Connet Network；因为整个过程由layer1传到layer2，由后往前传，因此称为Feedforward Network。
Deep = Many hidden layers
通过矩阵形式计算：



Using parallel computing techniques to speed up matrix operation，写成矩阵运算的好处在于可以使用GPU加速，比用CPU运算更快。

You need to decide the network structure to let a good function in your function set.

Q&A：
1、需要多少层，以及每层有多少神经，需要根据试验和误差，以及经验来决定
2、the structure can be automatically determined. E.g. Evolutionary Artificial Neural Networks
3、we can design the network structure. E.g. Convolutional Neural Network（CNN）

Step2：goodness of function

Cross Entropy 越小越好
For all training data，计算total loss

最小化total loss，利用gradient descent。

Backpropagation：

Ref：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN%20backprop.ecm.mp4/index.html
为什么要使用deep learning，deeper is Better?

Step3：pick the best function

参考：
https://www.bilibili.com/video/BV1Ht411g7Ef