热门标签
热门文章
- 1手撕数据结构与算法-链表_如何手撕数据结构csdn
- 2exsi下WIN10或者server2016安装docker_esxi虚拟机windows安装docker
- 3记录rabbitmq工作模式之工作队列模式（work queues）_rabbitmq应用工作队列work queues
- 4【数据结构】——链式二叉树
- 5什么是数据可视化？_数据图形化显示目的是为了更精确的展示数据的值
- 6【2024华为OD机试真题-C卷D卷-100分】分配土地【C++/Java/Python】_从前有个村庄,村民们喜欢在各种田地上插上小旗子,旗子上标识了各种不同的数字。
- 7leetcode 45.跳跃游戏Ⅱ 贪心法求解（c++版本）
- 8一起来作画吧「GitHub 热点速览 v.22.14」
- 9排序算法（三）——选择排序【C/C++】_选择排序c++
- 10全球大数据工具汇总简介_数据集成工具国外介绍
当前位置: article > 正文
KAN和MLP_kan与mlp
作者：运维做开发 | 2024-08-06 10:53:42
赞
踩
kan与mlp
1.区别：
MLP将固定的激活函数放在节点(“神经元”)上，而KAN将可学习的激活函数放在边缘(“权重”)上。KANs没有线性权重矩阵，而是将每个权重参数替换为一个可学习的单变量函数，该函数以样条曲线的形式参数化。
2.MLP的缺点：
在transformer中，MLP的参数量大，且不具备可解释性。
3.KAN=MLP+样条
为了提升表征能力，MIT提出了KAN。KAN本质上是样条（Spline）曲线和 MLP 的组合，吸收了两者的优点。即
KAN = MLP + Spline
4.KAN的缺点：
学习的激活函数的成本比固定激活函数成本更高，表现为：虽然参数很少，但是收敛的很慢 。
声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】
推荐阅读
相关标签
