KAN神经网络 | KAN神经网络基础附代码_kan代码

研究背景

KAN是一种全新的神经网络架构，它与传统的MLP架构不同，能够用更少的参数量在Science领域取得惊人的表现，并且具备可解释性，有望成为深度学习模型发展的一个重要方向。

运用KAN，我们不仅能够在函数拟合、偏微分方程求解（PDE）上取得不错的成果，甚至能够解决拓扑理论中的Knot Theory、处理凝聚态物理中的Anderson Localization问题。

KAN的全称是Kolmogorov–Arnold Network，致敬了两位伟大的已故数学家，其背后的核心思想是Kolmogorov–Arnold表示定理，即KART（Kolmogorov–Arnold Representation Theorem）。
KART的核心思想是：对于任何一个多元连续函数，都能够表示为有限个单变量函数和加法的组合。

数学定理读起来比较拗口，但如果把它图示化出来，就很容易弄懂。

假设有一个多元连续函数y=f(x1,x2)，它可以表达为一个有着2个input（x1和x2）、一个output（y）、以及5个隐藏层神经元的Kolmogorov Network。隐藏层神经元数量为2n+1=5，这里的n指的是input变量的个数。

对于第一个神经元，它接收到两个branch的信号，分别是φ1,1(x1)和φ1,2(x2)，这里的φ(xi)是xi的一元函数。把φ1,1(x1)和φ1,2(x2)简单相加，就得到第一个神经元的取值。

以此类推，第2-5个神经元也是如此，这是第一层神经元取值的计算方法。

为了计算第二层神经元的结果，我们需要对第一层中的每个神经元构造一元函数&#