深度学习 精选笔记（2）自动求导与概率

学习参考：

• 动手学深度学习2.0
• Deep-Learning-with-TensorFlow-book
• pytorchlightning

①如有冒犯、请联系侵删。
②已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。
③非常推荐上面（学习参考）的前两个教程，在网上是开源免费的，写的很棒，不管是开始学还是复习巩固都很不错的。

深度学习回顾，专栏内容来源多个书籍笔记、在线笔记、以及自己的感想、想法，佛系更新。争取内容全面而不失重点。完结时间到了也会一直更新下去，已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。所有文章涉及的教程都会写在开头、一起学习一起进步。

1.导数基本含义

古希腊人把一个多边形分成三角形，并把它们的面积相加，才找到计算多边形面积的方法。 为了求出曲线形状（比如圆）的面积，古希腊人在这样的形状上刻内接多边形。 内接多边形的等长边越多，就越接近圆。 这个过程也被称为逼近法（method of exhaustion）。

事实上，逼近法就是积分（integral calculus）的起源。 2000多年后，微积分的另一支，微分（differential calculus）被发明出来。 在微分学最重要的应用是优化问题，即考虑如何把事情做到最好。

导数是微积分中的重要概念，它表示函数在某一点处的变化率。具体来说，如果一个函数表示某一物理量随着时间、空间或其他自变量的变化，那么该函数在某一点的导数就表示该物理量在这一点的变化速率。换句话说，导数告诉函数在某一点处是增加还是减少，以及增加或减少的速率有多快。

其中，ℎ是一个无限接近于零的数。这个定义可以理解为，当 ℎ 趋近于零时，函数在点 x 处的导数就是函数在点 x 处的切线的斜率。

导数等价符号：

绘制函数