热门标签
热门文章
- 1Vue3实战笔记（36）—粒子特效完成炫酷的404
- 2用wireshark抓取HTTP的get和post方法流量包_wireshark http get
- 3unity5x+UGUI屏幕自适应(多分配率适配)_ue5分屏显示
- 4GenerateAllSetter插件使用方法
- 5MongoDB中的_id和ObjectId
- 6大智能：大数据+大模型+大算力_大数据 大模型 大算力 大智能
- 7物联网行业定位应用场景及其解决方案_物联网定位技术应用案例场景及功能展示
- 8Idea中解决Git冲突问题及merge代码消失问题【git常用tips】_idea git merge
- 9政安晨：【Keras机器学习示例演绎】（四十九）—— 利用 KerasNLP 实现语义相似性
- 10Node.js入门 03：模块化规范 CommonJS 与 ES Module_commonjs规范
当前位置: article > 正文
常见激活函数对比_liner 激活函数和relu区别
作者：Cpp五条 | 2024-05-30 17:02:21
赞
踩
liner 激活函数和relu区别
常见激活函数
激活函数的作用
激活函数的主要功能是为神经网络非线性能力 ，去掉激活函数层，神经网络仅剩下线性函数，多层线性函数的拟合还是线性的，无法更好的建模生活中的大多数非线性问题。
线性激活函数（不是重点）
非线性激活函数（sigmod,tanh,relu,lrelu,Prelu,swish）
考量：
- 可微性：因为优化方法是基于梯度的，
- 单调性：当激活函数是单调的时候，能够保证单层网络是凸函数
输出值的范围：激活函数的输出值的范围可以有限也可以无限。当输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更加显著；当输出值是无限的时候，模型的训练会更加高效，不过在这种情况下，一般需要更小的learning rate
非线性激活函数
sigmod
公式
f ( x ) = 1 1 + e − x f ′ ( x ) = f ( x ) ∗ ( 1 − f ( x ) ) f(x) = \frac{1}{1+e^{-x}} \\ f^{'}(x) = f(x)*(1-f(x)) f(x)=1+e−x1f′(x)
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/647813
推荐阅读
相关标签
