当前位置:   article > 正文

李宏毅《机器学习》丨4. Deep Learning(深度学习)_李宏毅 deep learning

李宏毅 deep learning

Author:AXYZdong
李宏毅《机器学习》系列
参考视频地址:https://www.bilibili.com/video/BV1Ht411g7Ef
参考文档:DataWhale文档

一、深度学习发展历史

  • 1958: Perceptron (linear model)
  • 1969: Perceptron has limitation
  • 1980s: Multi-layer perceptron
    Do not have significant difference from DNN today
  • 1986: Backpropagation
    Usually more than 3 hidden layers is not helpful
  • 1989: 1 hidden layer is “good enough”, why deep?
  • 2006: RBM initialization (breakthrough)
  • 2009: GPU
  • 2011: Start to be popular in speech recognition
  • 2012: win ILSVRC image competition

二、深度学习三个步骤

2.1 Step1:神经网络(Neural network)

神经元(neuron)为基本单位,通过神经元之间的互相连接,建立神经网络。

神经元之间有很多不同的连接方式,这样就会产生不同的结构(structure)。

  • 完全连接前馈神经网络:相邻层神经元之间都有连接,而且传递的方向是由后往前传。

在这里插入图片描述

▲ 完全连接前馈神经网络

深度(Deep)的理解

Deep = Many hidden layer

  • 2012 AlexNet:8层
  • 2014 VGG:19层
  • 2014 GoogleNet:22层
  • 2015 Residual Net:152层
  • 101 Taipei:101层

在这里插入图片描述

▲ 深度层数的发展

矩阵计算(Matrix Operation)

随着层数变多,错误率降低,随之运算量增大,通常都是超过亿万级的计算。对于这样复杂的结构,我们一定不会一个一个的计算,对于亿万级的计算,使用loop循环效率很低。因此,利用矩阵计算(Matrix Operation)提高运算的速度以及效率。

在这里插入图片描述

▲ 矩阵计算(Matrix Operation)

FAQ(Frequently Asked Questions)

  • 多少层? 每层有多少神经元?
  • 结构可以自动确定吗?
  • 我们可以设计网络结构吗?

在这里插入图片描述

▲ FAQ

2.2 Step2:模型评估(Goodness of function)

对于模型的评估,我们一般采用损失函数来反应模型的好差,所以对于神经网络来说,我们采用交叉熵(cross entropy)函数来对损失进行计算,通过调整参数,让交叉熵误差越来越小。

在这里插入图片描述

▲ 损失示例

2.3 Step3:选择最优函数(Pick best function)

三、深度学习思考

为什么要用深度学习,深层架构带来哪些好处?那是不是隐藏层越多越好?

在这里插入图片描述

▲ 隐藏层越多越好?

在这里插入图片描述

▲ 普遍性定理

四、总结

Datawhale组队学习,李宏毅《机器学习》Task4. Deep Learning(深度学习)。主要包括深度学习发展历史、深度学习三个步骤:神经网络 模型评估 选择最优函数、深度学习思考。


—— END ——

如果以上内容有任何错误或者不准确的地方,欢迎在下面

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/537523
推荐阅读
相关标签