AI相关数学知识_ai的数学

AI相关的主要数学知识包括微积分、线性代数、概率论和最优化。

一、微积分

1.1、相关知识点

导数与求导公式、一阶导数与函数单调性、一元函数极值判定法、高阶导数、二阶导数与函数凹凸性、一元函数泰勒展开

1.2、应用

在机器学习中主要用到微积分的微分部分，作用是求函数极值；
1）导数和偏导数的定义与计算方法；
2）梯度向量定义；
3）极值定理，可导函数在极值点导数（梯度）为0；
4）雅可比矩阵，向量到向量映射函数的偏导构成的矩阵，在求导推导中会用到；
5）Hession矩阵，是二阶导数对多元函数的推广，与函数极值有密切关系；
6）凸函数的定义与判断方法；
7）泰勒展开公式（核心），可以推导出梯度下降法、牛顿法、拟牛顿法等最优化算法；
8）拉格朗日乘数法，用于求解带等式约束的极值问题；

二、线性代数

2.1、相关知识点

向量及其运算、矩阵及其运算、张量、行列式、二次型、特征值与特征向量

2.2、应用

机器学习中处理的数据一般都是向量、矩阵、张量，经典机器学习算法输入的数据都是特征向量，深度学习算法在处理图像时输入的二维矩阵或3维张量；
1）向量及其运算，包括加法、减法、数乘、转置、内积
2）向量及矩阵范数，L1范数、L2范数
3）矩阵及其运算，包括加法、减法、乘法、数乘
4）逆矩阵的定义与性质
5）行列式的定义与计算方法
6）二次型的定义
7）矩阵的正定性
8）矩阵的特征值与特征向量
9）矩阵的奇异值分解
10）线性方程组数值解法（如共轭梯度法）

三、多元函数微积分

3.1、相关知识点

高阶偏导数、雅克比矩阵、Hessian矩阵、多元函数泰勒展开、多元函数极值判定法则、奇异值分解SVD、

四、概率论

4.1、相关知识点

随机事件与概率、条件概率与贝叶斯公式、随机变量、随机变量的期望和方差、常用概率分布（正太分布、均匀分布、伯努利二项分布）、随机向量（联合概率密度函数等）、协方差与协方差矩阵、最大似然估计

五、最优化

5.1、相关知识点

1）机器学习算法最终目标就是求最优解，而求最优解问题的指导思想是在极值点处函数导数/梯度为0；
2）凸优化，其最好特性是所有局部最优解为全局最优解；
3）拉格朗日对偶与KKT条件

六、主要算法与数学知识点对应关系