当前位置:   article > 正文

【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则

【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则

深度学习与微积分

总结来说,深度学习的核心在于优化;优化的重点在于降低损失值;降低损失值需要通过反向梯度下降;而微积分,判断的就是梯度下降的方向和大小。

铺开来说,深度学习的核心目标是通过优化过程来训练模型,以便在给定输入数据时能够产生准确的预测。而为了评估模型的性能并指导优化过程,我们定义了一个 损失函数。它量化了模型的预测与真实值之间的不一致程度。

优化过程的关键在于找到一组模型参数,使得损失函数的值最小。这通常通过 梯度下降 算法实现,其中 “梯度” 就是损失函数对模型参数的导数。梯度指向损失增加最快的方向,因此,为了最小化损失函数,我们选择与梯度相反的方向进行更新,这就是所谓的 “反向梯度下降”。

在这个过程中,导数(或者说梯度)的重要性在于:

  • 方向:导数指示了损失函数下降最快的方向,即梯度的反方向是损失减少的方向。
  • 大小:导数的绝对值表示了损失函数在该方向上下降的速率,即参数更新的大小。

因此,通过计算损失函数对每个参数的导数(梯度),我们可以调整模型参数,以减少损失函数的值,从而训练出性能更好的模型。而自动微分,使得这个过程变得自动化和高效。开发者可以专注于模型结构和数据处理,而不必手动计算复杂的导数。关于自动微分,将在后续博文单开章节进行阐述。

在本篇文章中,我们将关注于微积分的一些核心概念,特别是 偏导数 和 链式法则 这两个关键原理。


偏导数

深度学习函数依赖于许多变量。在博文微积分(上)中,只单纯讨论了导数与微分之于深度学习的重要性。但是实践上看,我们需要将微分的思想推广到多元函数上。

e . g . e.g. e.g. 假设 y = f ( x 1 , x 2 , . . . , x n ) y = f(x_1, x_2, ..., x_n) y=f(x1,x2,...,xn) 是一个具有 n n n 个变量的函数, y y y 关于第 i i i 个参数 x i x_i xi 的偏导数为:
d y d x i = lim ⁡ h → 0 f ( x 1 , . . . , x i − 1 , x i + h , x i + 1 , . . . , x n ) − f ( x 1 , . . . , x i , . . . , x n ) h \frac {dy} {dx_i}=\lim _{h \to 0} \frac {f(x_1, ..., x_{i-1}, x_i+h, x_{i+1}, ..., x_n) - f(x_1, ..., x_i, ..., x_n)} {h} dxidy=h0limhf(x1,...,xi1,xi+h,xi+1,...,xn)f(x1,...,xi,...,xn)

而为了计算 d y d x i \frac {dy} {dx_i} dxidy,我们可以简单地将 x 1 , . . . , x i − 1 , x i + 1 , . . . , x n x_1, ..., x_{i-1}, x_{i+1}, ..., x_n x1,...,xi1,xi+1,...,xn 看作常数,并计算 y y y 关于 x i x_i xi 的导数。


链式法则

在深度学习中,神经网络由多个层组成,每个层的输出又作为下一层的输入。链式法则允许我们将复杂的导数问题分解为多个简单的导数问题。通过链式法则,我们可以从输出层的损失函数反向传播梯度到网络的每一层,从而计算出每个权重的偏导数。

链式传播简单公式:
d y d x = d y d x d u d x \frac {dy} {dx}=\frac {dy} {dx} \frac {du} {dx} dxdy=dxdydxdu

关于链式法则的实践,将在后续博文中进行展现。


如有任何疑问,请联系或留言。

2024.2.14

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/89258
推荐阅读
相关标签
  

闽ICP备14008679号