KAN网络（Kolmogorov-Arnold Networks）Al领域最新神作---大白话详解_kolmogorov arnold 定理

论文链接：https://arxiv.org/pdf/2404.19756

代码：https://github.com/KindXiaoming/pykan

1.基本原理

1.1Kolmogorov-Arnold定理

任何连续的多变量函数都可以表示为有限个一元连续函数的组合，详见公式（1-1）

公式理解不了，没关系，我们举个栗子

有n个天才（n个变量），可以造出一个火箭（函数f），怎么造出来呢？一般人都理解不了（因为这个函数很复杂），但是！！！数学家证明出来了，如果我们有2n+1个笨蛋，每个笨蛋只需要做简单的工作再相加，也可以造出来火箭！！

一定要是2n+1吗？

不一定，这是存在解并不是唯一解，一个牛马笨蛋干两个人的活，也是可能的（没有其他意思）

那么我们把这样的函数关系转成图来理解

假设n为2，我们有x1，x2两个变量和y一个输出，那么这时2n+1=5

5个笨蛋从2个天才那里学到一点知识再相加（两个单变量函数相加），然后自己进行一个简单加工再相加，最后就可以造出来一个火箭啦！

熟悉神经网络的小伙伴可以看出，这乍一看，不就是一个MLP吗！?

其实还是有一点区别的，常规的MLP是指在边（edge）上进行线性映射，在节点上采用非线性的激活函数，在训练过程中，非线性部分是不可学习的，要想处理高维数据，只能不断地增加网络的深度来提高模型的非线性表达能力

言归正传，那么当有n个变量，理论上我们就可以把它转化成一个[n,2n+1,1]大小的神经网络

那这样会出现什么局限性呢？

！！只有两层，没办法进行反向传播！！（笨蛋没有学习改进的空间）

所以KAN就诞生了

2.KAN网络结构

直接给网络结构安排一个freestyle，设计一个L层的KAN网络结构

每一层的节点个数为nl，那么第l层和第l+1层之间的激活函数（这里的激活函数类似于MLP中的线性映射过程）就有l×（l+1）个，每一层的节点输入都是从前一层的各个节点上通过激活函数映射所得值的和，因此两层节点之间的关系就可以用这个矩阵来表示

一个完整的KAN结构就可以表示为以下的式子，这里的Φl就是一个一元函数构成的矩阵，这样就可以类比成一个MLP开始进行训练和拟合啦！

3.训练过程

那么KAN究竟是怎样实现拟合的呢

首先要确定好网络的结构大小

还是用文章刚开始的[2,5,1]大小的KAN来举栗吧

（1）首先对每条边的激活函数进行初始化

作者用的是B-spline函数（对一群离散的数据点，可以利用分段多项式函数实现平滑的连接） 

（2）接着就是常规的 输入数据---计算损失---根据损失进行反向传播---更新参数

（3）中间可以掺杂一些正则化，剪枝（prune）操作，让某些没有必要的激活函数归零

（是的，这就是万恶的小组作业，当你的队友不给力时，你就不得不承担这一切） 

（4）由于每条激活函数都可以进行可视化，对于一些不平滑的函数（这个任务对笨蛋来说太难了，需要支援，可以考虑调整网络结构）！！！这里的局部调整是不需要重新训练的

（5）不断调整之后，就可以将每个激活函数都整成一个平滑的曲线

（6）最diao的一步来了：根据曲线直接进行赋函数，我看到这里三观都碎了

第1个函数像指数函数，所以赋成exp（x）

第2个函数像三角，赋成sin（x）

第3个函数像2次函数，赋成x^2

同一层的函数直接相加，前一层函数是后一层函数的内函数

当然，为了严谨起见，作者也提出了auto赋值方法，通过R^2来计算拟合度，可以自己添加函数去拟合比较哦！

（7）最后就可以实现从数据直接推理出公式的sao操作了

4.优缺点

优点

1.可解释性强

2.可以在一次训练过程中实现逐步调参

3.只有非线性映射，所以能用更少的参数处理更高维的数据

缺点

训练周期长

5.总结

个人观点：

整个网络结构只有非线性映射，应该会比MLP中 使用线性相加+局部非线性的方法降低不少参数

将每个激活函数都可视化且可调，可解释性大大增强（我觉得这是最diao的）

但是调优过程maybe会无比漫长且痛苦，但是！！！肯定会比深度学习中的炼丹简单，起码会有改进思路

源码已经贴在文章开头了，有兴趣的伙伴可以去看看

后续可能会出代码讲解，如果大家感兴趣的话~~~