热门标签
热门文章
- 1(一) Docker Hub网站仓库国内进不去了？手把手教你通过GitHub项目构建自己的镜像仓库站！_dockerhub
- 2输入框事件compositionstart和compositionend的妙用
- 3华为OD岗位薪资大曝光：外包也能享受高薪待遇？_华为od薪资
- 4scrum敏捷开发方法论_敏捷方法论 scrum
- 5高考状元榜,,,,
- 6正则表达式抓取网页信息
- 7解决滚动条消失和水平居中跳动变化的问题_滚动条显示与隐藏会引起内容的宽度变化
- 8计算机必背单词——软件工程相关
- 9微信小程序自定义tabbar taro + vue3_taro+vue3根据不同角色显示不同tabbar栏
- 10彻底搞懂FPGA配置_fpga nconfig
当前位置: article > 正文
KAN和MLP_kan和mlp区别
作者：繁依Fanyi0 | 2024-06-30 23:59:58
赞
踩
kan和mlp区别
1.区别：
MLP将固定的激活函数放在节点(“神经元”)上，而KAN将可学习的激活函数放在边缘(“权重”)上。KANs没有线性权重矩阵，而是将每个权重参数替换为一个可学习的单变量函数，该函数以样条曲线的形式参数化。
2.MLP的缺点：
在transformer中，MLP的参数量大，且不具备可解释性。
3.KAN=MLP+样条
为了提升表征能力，MIT提出了KAN。KAN本质上是样条（Spline）曲线和 MLP 的组合，吸收了两者的优点。即
KAN = MLP + Spline
4.KAN的缺点：
学习的激活函数的成本比固定激活函数成本更高，表现为：虽然参数很少，但是收敛的很慢 。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/774443
推荐阅读
相关标签
