KAN遇见卷积！代码开源！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/扩散/多模态】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：机器之心

本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。

KAN 在准确性和可解释性方面表现优于 MLP，而且它能以非常少的参数量胜过以更大参数量运行的 MLP。比如，作者表示，他们用 KAN 以更小的网络和更高的自动化程度重现了 DeepMind 的结果。具体来说，DeepMind 的 MLP 有大约 300000 个参数，而 KAN 只有大约 200 个参数。

KAN 与 MLP 一样具有强大的数学基础，MLP 基于通用逼近定理，而 KAN 基于 Kolmogorov-Arnold 表示定理。

如下图所示，KAN 在边上具有激活函数，而 MLP 在节点上具有激活函数。KAN 似乎比 MLP 的参数效率更高，但每个 KAN 层比 MLP 层拥有更多的参数。

最近，有研究者将 KAN 创新架构的理念扩展到卷积神经网络，将卷积的经典线性变换更改为每个像素中可学习的非线性激活函数，提出并开源 KAN 卷积（CKAN）。

项目地址：https://github.com/AntonioTepsich/Convolutional-KANs

KAN 卷积

KAN 卷积与卷积非常相似，但不是在内核和图像中相应像素之间应用点积，而是对每个元素应用可学习的非线性激活函数，然后将它们相加。KAN 卷积的内核相当于 4 个输入和 1 个输出神经元的 KAN 线性层。对于每个输入 i，应用 ϕ_i 可学习函数，该卷积步骤的结果像素是 ϕ_i (x_i) 的总和。

KAN 卷积中的参数

假设有一个 KxK 内核，对于该矩阵的每个元素，都有一个 ϕ，其参数计数为：gridsize + 1，ϕ 定义为：

这为激活函数 b 提供了更多的可表达性，线性层的参数计数为 gridsize + 2。因此，KAN 卷积总共有 K^2(gridsize + 2) 个参数，而普通卷积只有 K^2。

初步评估

作者测试过的不同架构有：

• 连接到 KAN 线性层的 KAN 卷积层（KKAN）

• 与 MLP 相连的 KAN 卷积层（CKAN）

• 在卷积之间进行批量归一化的 CKAN (CKAN_BN)

• ConvNet（连接到 MLP 的经典卷积）（ConvNet）

• 简单 MLP

作者表示，KAN 卷积的实现是一个很有前景的想法，尽管它仍处于早期阶段。他们进行了一些初步实验，以评估 KAN 卷积的性能。

值得注意的是，之所以公布这些「初步」结果，是因为他们希望尽快向外界介绍这一想法，推动社区更广泛的研究。

卷积层中列表每个元素都包含卷积数和相应的内核大小。

基于 28x28 MNIST 数据集，可以观察到 KANConv & MLP 模型与 ConvNet（大）相比达到了可接受的准确度。然而，不同之处在于 KANConv & MLP 所需的参数数量是标准 ConvNet 所需的参数数量的 7 倍。此外，KKAN 的准确率比 ConvNet Medium 低 0.04，而参数数量（94k 对 157k）几乎只有 ConvNet Medium 的一半，这显示了该架构的潜力。我们还需要在更多的数据集上进行实验，才能对此得出结论。

在接下来的几天和几周里，作者还将彻底调整模型和用于比较的模型的超参数。虽然已经尝试了一些超参数和架构的变化，但这只是启发式的，并没有采用任何精确的方法。由于计算能力和时间的原因，他们还没有使用大型或更复杂的数据集，并正在努力解决这个问题。

未来，作者将在更复杂的数据集上进行实验，这意味着 KANS 的参数量将会增加，因为需要实现更多的 KAN 卷积层。

结论

目前，与传统卷积网络相比，作者表示并没有看到 KAN 卷积网络的性能有显著提高。他们分析认为，这是由于使用的是简单数据集和模型，与尝试过的最佳架构（ConvNet Big，基于规模因素，这种比较是不公平的）相比，该架构的优势在于它对参数的要求要少得多。

在 2 个相同的卷积层和 KAN 卷积层与最后连接的相同 MLP 之间进行的比较显示，经典方法略胜一筹，准确率提高了 0.06，而 KAN 卷积层和 KAN 线性层的参数数量几乎只有经典方法的一半，准确率却降低了 0.04。

作者表示，随着模型和数据集复杂度的增加，KAN 卷积网络的性能应该会有所提高。同时，随着输入维数的增加，模型的参数数量也会增长得更快。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
 
▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看