KAN神经网络 | KAN卷积神经网络_kan卷积和传统卷积区别

KAN Convolutions（KAN卷积）是一种特殊的卷积操作，它在每个边缘上应用一个可学习的非线性函数，并将它们相加。

KAN卷积的核相当于一个具有4个输入和1个输出神经元的KAN线性层。

KAN 卷积中的参数
假设我们有一个KxK的核（或称为卷积核）。

在这种情况下，对于该矩阵的每个元素，我们有一个ϕ，其参数数量是：gridsize + 1。

这给予了激活函数b更多的表达能力。

因此，线性层的参数数量是gridsize + 2。

所以，对于KAN卷积，我们总共有K²(gridsize + 2)个参数，而普通的卷积只有K²个参数。

考虑到gridsize（在我们的实验中）通常介于k和k²之间，但k倾向于是一个较小的值，介于2和16之间。

初步评估

我们测试的不同架构是：

KAN卷积层连接到KAN线性层（KKAN）

Kan卷积层连接到多层感知机（MLP）（CKAN）

在卷积之间使用批量归一化的CKAN（CKAN_BN）

ConvNet（经典卷积连接到MLP）（ConvNet）

简单的MLPs

基于28x28的MNIST数据集，我们可以观察到KANConv & MLP模型在准确度上与传统的大型ConvNet相比是可以接受的。