号称能打败MLP的KAN到底行不行？数学核心原理全面解析_mlp和kan

前几天火爆的Kolmogorov-Arnold Networks是具有开创性，目前整个人工智能社区都只关注一件事LLM。我们很少看到有挑战人工智能基本原理的论文了，但这篇论文给了我们新的方向。

mlp或多层感知位于AI架构的最底部，几乎是每个深度学习架构的一部分。而KAN直接挑战了这一基础，并且也挑战了这些模型的黑箱性质。

也许你看到了很多关于KAN的报告，但是里面只是简单的描述性介绍，对于他的运行原理还是不清楚，所以我们这篇文章将涉及大量的数学知识，主要介绍KAN背后的数学原理。

KAN

Kolmogorov-Arnold Networks引入了一种基于Kolmogorov-Arnold表示定理的新型神经网络架构，为传统的多层感知器(mlp)提供了一种有前途的替代方案。

mlp在节点(“神经元”)上有固定的激活函数，而kan在边缘(“权重”)上有可学习的激活函数。kan根本没有线性权重，每个权重参数都被参数化为样条的单变量函数。这个看似简单的改变使得KANs在准确性和可解释性方面优于mlp。KANs是mlp的有希望的替代品，为进一步改进当今严重依赖mlp的深度学习模型提供了机会。

上面论文的原文，根据论文在数据拟合和PDE求解方面，更小的kan与更大的mlp相当或更好。所以kan可能比mlp拥有更快的神经缩放定律。并且KANs可以直观地可视化，大大提高了可解释性。

论文围绕函数逼近的Kolmogorov-Arnold表示定理的性质展开，这是这篇论文的全部前提。

表示定理基础:函数被分解成更简单的函数，然后使用神经网络进行近似。

平滑性和连续性:目标是确保原始多元函数的平滑性有效地转化为神经网络近似。

空间填充曲线:函数跨维度的属性，特别是关注在近似过程中如何保持连续性和其他函数属性或转换。

什么是样条?为什么KAN需要样条?

上面进行了简单的介绍，下面我们开始深入理解论文的数学基础，这是其他报道中没有的。

样条是一种数学函数，用于通过一组控制点创建光滑和灵活的曲线或曲面。在数学术语中，样条是一个分段多项式函数，它在多项式块相交的地方(结点)保持高度平滑。

样条有几种类型，包括:

线性样条:用直线连接点，简单但不流畅。这在点上是不可微的。

二次和三次样条:二次或三次多项式创建曲线。三次样条曲线被广泛使用，因为它在灵活性和计算复杂性之间提供了很好的平衡。

b样条(基样条):对曲线形状提供更好的控制，特别是在边界附近，并在一组控制点上定义，这些控制点不一定位于曲线本身。

论文则是将b样条用于kan:与基本样条不同，b样条不一定通过其控制点。而是通过这些点从远处引导曲线的形状，提供了一种更灵活的方式来描述复杂的形状和图案。

b样条在kan中特别有用，因为它们在处理高维数据时具有鲁棒性，并且能够形成光滑的多维表面。对于神经网络，在高维数据中学习是标准的，b样条可以用来管理模型的复杂性，并且持计算效率，同时不会失去可解释性。

Kolmogorov-Arnold表示定理

Kolmogorov-Arnold表示定理背后的核心思想是，任何(多变量)连续函数都可以表示为单变量连续函数和加法运算的组合。无论多变量函数看起来多么复杂，都可以用更简单的单变量函数来表示它。它和傅里叶级数很相似，傅里叶级数是一个连续的周期函数由谐波相关正弦函数的和生成。

下面是Kolmogorov-Arnold表示定理的数学公式:

该定理提供了一种将复杂的多变量函数分解为每次只涉及一个变量的一系列操作的方法，使其更容易理解和计算。这在神经网络等环境中这种分解可以帮助设计架构，使用更简单、更容易训练的组件有效地近似复杂函数。

KAN的数学原理

1、传统MLP层

我们先来看看MLP。mlp基于普遍逼近定理，该定理指出，在对激活函数的温和假设下，具有单个隐藏层的前馈网络包含有限数量的神经元，可以在