KAN网络与MLP在MNIST数据集上的效果对比_kan mnist

外网博主Hesam针对KAN网络在MNIST数据集表现究竟如何，与MLP做了对比，从结果来看KAN在MNIST数据集上的表现目前不如MLP，MLP的参数仅比KAN多3000。

KAN 在MNIST数据集上的表现

在所有测试中，以及到目前为止的测试中，不能在MNIST上达到效果超过85%的KAN。
所使用结构为[49,10,10]宽度的KAN与grid=4进行实验，这是目前为止最好的结构。

MLP 在MNIST数据集上的表现

从结果来看，MLP在MNIST数据集上的效果远好于KAN。MLP使用比KAN多3000参数的结构，就能在MNIST数据集上取得超90%的效果。

KAN在MNIST数据集上效果差的原因是什么？

KAN论文原文通篇都在描述KAN在复杂数学物理函数上的预测效果，并展示了KAN的可解释性优势，正如论文作者原本的研究领域也是物理方面的。KAN网络在具有明确解析解的数学物理问题中表现出了很好的效果，但是像MNIST这样的问题是没有明确的解析解的，因此其在此类问题上的效果还值得探究。KAN在MNIST上效果差的可能原因：

1. 网络拟合:KAN可能缺乏MNIST所需的复杂性/深度。
2. 超参数:优化器、学习率和epoch对于KAN来说不是理想的。
3. 数据预处理:适合mlp的预处理可能与KAN需求不一致。
4. 理论vs.实践:KAN的理论优势并不能完全转化为实际的图像任务。
5. 损失失配:当前的损失函数可能有利于MLP结构。
6. 正则化需求:缺乏KAN所需的正则化方法。

参考文献及代码

Code of training KAN on MNIST: KAN on MNIST
KAN论文原文：KAN: Kolmogorov–Arnold Networks