泰勒展开式_矩阵指数函数的泰勒展开

Reference:

1. 泰勒展开的公式怎么记忆？
2. 多元函数的泰勒展开式

NORMAL：

$\bullet e^x$：

首先，最常的是 $e^x$。这个是被打死都要记住的：
$$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\dots +\frac{x^n}{n!}$$记忆方法是两边同时求导，要求两边都不变。
( e x ) ′ = ( 1 0 ! + x 1 ! + x 2 2 ! + x 3 3 ! + ⋯   ) ′ e x = 0 + 1 + x 1 + x 2 2 ! + x 3 3 ! ⋯ = 1 + x + x 2 2 ! + x 3 3 ! + ⋯

$$\begin{aligned} \left(e^x\right)^{\prime} & =\left(\frac{1}{0 !}+\frac{x}{1 !}+\frac{x^2}{2 !}+\frac{x^3}{3 !}+\cdots\right)^{\prime} \\ e^x & =0+1+\frac{x}{1}+\frac{x^2}{2 !}+\frac{x^3}{3 !} \cdots \\ & =1+x+\frac{x^2}{2 !}+\frac{x^3}{3 !}+\cdots \end{aligned}$$ (ex)′ex​=(0!1​+1!x​+2!x2​+3!x3​+⋯)′=0+1+1x​+2!x2​+3!x3​⋯=1+x+2!x2​+3!x3​+⋯​同时，$e^0=1,e^x>0$。

$\bullet a^x$：

有了 $e^x$，那么就有 $a^x=e^{x\ln a}$，如果将 $x$ 换为 $x\ln a$，我们就推导出了 $a^x$ 的泰勒展开式 $\mathrm{C}$。
a x = e x ln ⁡ a = 1 + x ln ⁡ a + ( x ln ⁡ a ) 2 2 ! + ( x ln ⁡ a ) 3 3 ! + … + ( x ln ⁡ a ) n n !

$$\begin{aligned} a^x & =e^{x \ln a} \\ & =1+x \ln a+\frac{(x \ln a)^2}{2 !}+\frac{(x \ln a)^3}{3 !}+\ldots+\frac{(x \ln a)^n}{n !} \end{aligned}$$ ax​=exlna=1+xlna+2!(xlna)2​+3!(xlna)3​+…+n!(xlna)n​​

$\bullet \sin x$：

$\sin x$ 也非常常用，可以用欧拉公式推导，但是那反而不利与记忆。
$$\sin x=x-\frac{x^3}{3!}+\frac{x^5}{5!}-\frac{x^7}{7!}+\dots +\frac{(-1{)}^n{x}^{2n+1}}{(2n+1)!}$$我们只要记住，$\sin x$ 是奇函数，只有奇数项，并且 $\sin 0=0$。同时，$x$ 的次方数和被她踩在下面的阶乘是一样的。

$\bullet \cos x$：

那 $\cos x$ 也很常用，$\cos x$ 又要怎么记忆呢?
实际上，对 $\sin x$ 求导，不就是 $\cos x$ 了吗? 同时，$\cos x$ 是偶函数，只有偶数项并且 $\cos 0=1$：
cos ⁡ x = d ( sin ⁡ x ) d x = 1 − x 2 2 ! + x 4 4 ! − x 6 6 ! + … + ( − 1 ) n x 2 n ( 2 n ) !

$$\begin{aligned} \cos x & =\frac{d(\sin x)}{d x} \\ & =1-\frac{x^2}{2 !}+\frac{x^4}{4 !}-\frac{x^6}{6 !}+\ldots+\frac{(-1)^n x^{2 n}}{(2 n) !} \end{aligned}$$ cosx​=dxd(sinx)​=1−2!x2​+4!x4​−6!x6​+…+(2n)!(−1)nx2n​​

$\bullet \frac{1}{1-x}$：

那我们来看一下对数函数 $\ln (1+x)$ ?
不要急，先来看一下这个函数 $\frac{1}{1-x}$：
$$\frac{1}{1-x}=1+x+x^2+x^3+\cdots +x^n$$用等比数列就和公式证明。

$\bullet \frac{1}{1+x}$：

但是上面这公式和对数函数有什么关系? 没关系呀。但是，有了 $\frac{1}{1-x}$ 就有 $\frac{1}{1+x}$：
1 1 + x = 1 1 − ( − x ) = 1 − x + x 2 − x 3 + ⋯ + ( − 1 ) n x n

$$\begin{aligned} \frac{1}{1+x} & =\frac{1}{1-(-x)} \\ & =1-x+x^2-x^3+\cdots+(-1)^n x^n \end{aligned}$$ 1+x1​​=1−(−x)1​=1−x+x2−x3+⋯+(−1)nxn​

$\bullet \ln (1+x)$：

我们现在就可以来看 $\ln (1+x)$ 了，$\ln (1+x)$ 就是对 $\frac{1}{1+x}$ 积分呀!
ln ⁡ ( 1 + x ) = ∫ 0 x 1 1 + x d x = x − x 2 2 + x 3 3 − x 4 4 + … + ( − 1 ) n x n + 1 n + 1

$$\begin{aligned} \ln (1+x) & =\int_0^x \frac{1}{1+x} d x \\ & =x-\frac{x^2}{2}+\frac{x^3}{3}-\frac{x^4}{4}+\ldots+\frac{(-1)^n x^{n+1}}{n+1} \end{aligned}$$ ln(1+x)​=∫0x​1+x1​dx=x−2x2​+3x3​−4x4​+…+n+1(−1)nxn+1​​

$\bullet \ln x$：

有了 $\ln (1+x)$，自然就有 $\ln x$：
ln ⁡ x = ln ⁡ ( 1 + ( x − 1 ) ) = ( x − 1 ) − ( x − 1 ) 2 2 + ( x − 1 ) 3 3 − ( x − 1 ) 4 4 + ⋯ + ( − 1 ) n ( x − 1 ) n + 1 n + 1

$$\begin{aligned} \ln x & =\ln (1+(x-1)) \\ & =(x-1)-\frac{(x-1)^2}{2}+\frac{(x-1)^3}{3}-\frac{(x-1)^4}{4}+\cdots+\frac{(-1)^n(x-1)^{n+1}}{n+1} \end{aligned}$$ lnx​=ln(1+(x−1))=(x−1)−2(x−1)2​+3(x−1)3​−4(x−1)4​+⋯+n+1(−1)n(x−1)n+1​​

$\bullet (1+x{)}^{\alpha }$：

$$(1+x{)}^{\alpha }=1+\alpha x+\frac{\alpha (\alpha -1)x^2}{2!}+\frac{\alpha (\alpha -1)(\alpha -2)x^3}{3!}+\cdots +\frac{\alpha (\alpha -1)\cdots (\alpha -n+1)x^n}{n!}$$这个好记，如果 $\alpha$ 为正整数，就是二项式定理。这里只不过拓展了应用范围而已。

   \;

FOR MATRIX：

其实公式上和常规版本是一样的，将 $1$ 的位置替换成 $\mathbf{I}$ 即可。

$\bullet \exp (\mathbf{A})$：

任意矩阵的指数映射可以写成一个泰勒展开，但是只有在收敛的情况下才会有结果，其结果仍是一个矩阵：
$$\exp (\mathbf{A})=\sum _{n=0}^{\infty }\frac{1}{n!}{\mathbf{A}}^n.$$

$\bullet \exp ({\mathbf{\varphi }}^{\wedge })$：

同样地，对 $\mathfrak{so}(3)$ 中任意一元素 $\varphi$，我们亦可按此方式定义它的指数映射：
$$\exp \left({\mathbf{\varphi }}^{\wedge }\right)=\sum _{n=0}^{\infty }\frac{1}{n!}{\left({\mathbf{\varphi }}^{\wedge }\right)}^n$$

$\bullet \ln (\mathbf{R})$：

$$\mathbf{R}=\sum _{n=0}^{\infty }\frac{(-1{)}^n}{n+1}(\mathbf{R}-\mathbf{I}{)}^{n+1}$$

多元函数：

实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)多项式来逼近原函数。

$\bullet$ 一元函数：

一元函数在点 $x_k$ 处的泰勒展开式为：
$$f(x)=f\left(x_k\right)+\left(x-x_k\right)f^{\prime }\left(x_k\right)+\frac{1}{2!}{\left(x-x_k\right)}^2{f}^{\prime \prime }\left(x_k\right)+o^n$$

• 把Taylor展开式写成矩阵的形式：
  $$f(\mathbf{x})=f\left({\mathbf{x}}_k\right)+{\left[\nabla f\left({\mathbf{x}}_k\right)\right]}^T\left(\mathbf{x}-{\mathbf{x}}_k\right)+\frac{1}{2!}{\left[\mathbf{x}-{\mathbf{x}}_k\right]}^{T}H\left({\mathbf{x}}_k\right)\left[\mathbf{x}-{\mathbf{x}}_k\right]+o^n$$其中：
  $$H\left({\mathbf{x}}_k\right)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f\left(x_k\right)}{\partial x_1^2}& \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_n^2}\end{array}\right]$$

$\bullet$ 二元函数：

二元函数在点 $\left(x_k,y_k\right)$ 处的泰勒展开式为：
f ( x , y ) = f ( x k , y k ) + ( x − x k ) f x ′ ( x k , y k ) + ( y − y k ) f y ′ ( x k , y k ) + 1 2 ! ( x − x k ) 2 f x x ′ ′ ( x k , y k ) + 1 2 ! ( x − x k ) ( y − y k ) f x y ′ ′ ( x k , y k ) + 1 2 ! ( x − x k ) ( y − y k ) f y x ′ ′ ( x k , y k ) + 1 2 ! ( y − y k ) 2 f y y ′ ′ ( x k , y k ) + o n

$$\begin{array}{c} f(x, y)=f\left(x_k, y_k\right)+\left(x-x_k\right) f_x^{\prime}\left(x_k, y_k\right)+\left(y-y_k\right) f_y^{\prime}\left(x_k, y_k\right) \\ +\frac{1}{2 !}\left(x-x_k\right)^2 f_{x x}^{\prime \prime}\left(x_k, y_k\right)+\frac{1}{2 !}\left(x-x_k\right)\left(y-y_k\right) f_{x y}^{\prime \prime}\left(x_k, y_k\right) \\ +\frac{1}{2 !}\left(x-x_k\right)\left(y-y_k\right) f_{y x}^{\prime \prime}\left(x_k, y_k\right)+\frac{1}{2 !}\left(y-y_k\right)^2 f_{y y}^{\prime \prime}\left(x_k, y_k\right) \\ +o^n \end{array}$$ f(x,y)=f(xk​,yk​)+(x−xk​)fx′​(xk​,yk​)+(y−yk​)fy′​(xk​,yk​)+2!1​(x−xk​)2fxx′′​(xk​,yk​)+2!1​(x−xk​)(y−yk​)fxy′′​(xk​,yk​)+2!1​(x−xk​)(y−yk​)fyx′′​(xk​,yk​)+2!1​(y−yk​)2fyy′′​(xk​,yk​)+on​

$\bullet$ 多元函数：

多元函数 $(\mathbf{n})$ 在点 $x_k$ 处的泰勒展开式为：
f ( x 1 , x 2 , … , x n ) = f ( x k 1 , x k 2 , … , x k n ) + ∑ i = 1 n ( x i − x k i ) f x i ′ ( x k 1 , x k 2 , … , x k n ) + 1 2 ! ∑ i , j = 1 n ( x i − x k i ) ( x j − x k j ) f i j ′ ′ ( x k 1 , x k 2 , … , x k n ) + o n

$$\begin{array}{c} f\left(x^1, x^2, \ldots, x^n\right)=f\left(x_k^1, x_k^2, \ldots, x_k^n\right)+\sum_{i=1}^n\left(x^i-x_k^i\right) f_{x^i}^{\prime}\left(x_k^1, x_k^2, \ldots, x_k^n\right) \\ +\frac{1}{2 !} \sum_{i, j=1}^n\left(x^i-x_k^i\right)\left(x^j-x_k^j\right) f_{i j}^{\prime \prime}\left(x_k^1, x_k^2, \ldots, x_k^n\right) \\ +o^n \end{array}$$ f(x1,x2,…,xn)=f(xk1​,xk2​,…,xkn​)+∑i=1n​(xi−xki​)fxi′​(xk1​,xk2​,…,xkn​)+2!1​∑i,j=1n​(xi−xki​)(xj−xkj​)fij′′​(xk1​,xk2​,…,xkn​)+on​