热门标签
热门文章
- 1Qt 文件模型（QFileSystemModel）详细介绍_qfilesystemmodel index.model()->data(index, qt::di
- 2深度学习-了解_深度学习特点
- 3Idea项目代码上传到github_idea写好的代码如何上传到github
- 4论文笔记：Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank 递归神经网络总结_rvnn在哪篇论文提出
- 5Java哈希表(散列表)解析_java hashtable函数
- 6Studio One6.2汉化版最新专业的音频编辑软件
- 7IntelliJ IDEA 2023.3 的 AI Assistant 终于被激活了，但我是这样干的!_idea 2023.3.7
- 8软考案例分析真题_软考练习题的案例分析题
- 9八大技术趋势案例（云计算&大数据）_大数据行业发展技术趋势及案例分享
- 10vscode导入STM32CubeIDE工程文件夹未定义警告清除方法_用vscode查看代码有很多未定义标识符怎么解决
当前位置: article > 正文
KAN和MLP_kan网络难以收敛
作者：笔触狂放9 | 2024-06-26 12:35:39
赞
踩
kan网络难以收敛
1.区别：
MLP将固定的激活函数放在节点(“神经元”)上，而KAN将可学习的激活函数放在边缘(“权重”)上。KANs没有线性权重矩阵，而是将每个权重参数替换为一个可学习的单变量函数，该函数以样条曲线的形式参数化。
2.MLP的缺点：
在transformer中，MLP的参数量大，且不具备可解释性。
3.KAN=MLP+样条
为了提升表征能力，MIT提出了KAN。KAN本质上是样条（Spline）曲线和 MLP 的组合，吸收了两者的优点。即
KAN = MLP + Spline
4.KAN的缺点：
学习的激活函数的成本比固定激活函数成本更高，表现为：虽然参数很少，但是收敛的很慢 。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/759352
推荐阅读
相关标签
