【深度学习】S2 数学基础 P3 微积分（上）导数与微分

圆与微积分

公元前 2500 年，古希腊数学家阿基米德通过一种名为 “逼近法” 的技巧来估算圆的面积。他采用一个有奇数边的正多边形来外切圆，并用一个有偶数边的正多边形来内接圆。通过计算这两个多边形面积的差值，阿基米德得到了圆面积的一个近似值。

这种方法实际上是一种面积累加的过程，与现代积分学中的思想 —— “将一个区域分割成无数小部分，计算每个小部分的面积，并将这些面积加总以得到整个区域的总面积。” 有着密切的联系。

大约 2000 年后，微分理论被发明。微分学中，优化问题占据了核心地位，这也是深度学习的最终目标之一。正是由于这个原因，微积分成为了深度学习的三大数学基础之一。

而微积分学中的微分学与积分学是相辅相成的，

• 微分学研究的是函数在某一点处的局部性质；
• 积分学则关注的是函数在整个区间上的累积性质。

这两者共同构成了微积分学的基本框架，并在解决实际问题中发挥着重要作用。

---

导数与微分

导数的含义

在深度学习中，导数的含义为：对于模型中的每一个参数，如果我们对这个参数增加或者减少一个无穷小的量，可以观察到损失函数如何相应地快速增加或减少，从而对该参数对模型性能的影响程度有一个度量的标准。

数学定义

导数的数学定义表述为：
$$f^{\prime }(x)=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}$$

若函数 $f$ 在点 $a$ 处的导数存在，我们便称函数 $f$ 在 $a$ 处可微。这里的导数 $f^{\prime }(x)$ 表示函数 $f(x)$ 关于其变量 $x$ 的瞬时变化速率。

常用函数微分

以下是一些常用函数的微分操作描述：

• $C^{\prime }=\frac{dC}{dx}=0$（$C$ 是常数）
• ${x^n}^{\prime }=\frac{d{x}^n}{dx}=n{x}^{n-1}$
• ${e^x}^{\prime }=\frac{d{e}^x}{dx}=e^x$
• $ln(x{)}^{\prime }=\frac{1}{x}$

常用微分法则

• 常数相乘法则：
  $$\frac{d}{dx}[Cf(x)]=C\frac{d}{dx}f(x)$$
• 加法法则：
  $$\frac{d}{dx}[f(x)+g(x)]=\frac{d}{dx}f(x)+\frac{d}{dx}g(x)$$
• 乘法法则：
  $$\frac{d}{dx}[f(x)g(x)]=f(x)\frac{d}{dx}[g(x)]+g(x)\frac{d}{dx}[f(x)]$$
• 除法法则：
  $$\frac{d}{dx}[\frac{f(x)}{g(x)}]=\frac{g(x)\frac{d}{dx}[f(x)]-f(x)\frac{d}{dx}[g(x)]}{[g(x){]}^2}$$

Python 实现

$e.g.$ 定义一个函数 $u=f(x)=3x^2-4x$ 以及其导数；

# 函数表达式
def f(x):
    return 3 * x ** 2 - 4 * x

# 导数表达式
def numerical_lim(f, x, h):
    return (f(x + h) - f(x)) / h
1
2
3
4
5
6
7

---

深度学习三大数学基础 - 微积分（上）导数与微分；
下一节博文内容：深度学习数学基础 - 微积分（下），包含偏导数、梯度和链式法则。

2024.2.14