常用激活函数Sigmoid & Softmax & ReLU& Tanh的整理总结_sigmoid核函数为什么用tanh激活函数

作者：神奇cpp | 2024-07-24 11:15:29

踩

sigmoid核函数为什么用tanh激活函数

激活函数使用原因：

1、如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。
2、如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
比如，在单层感知机中，分类的结果大于某个值为一类，小于某个值为一类，这样的话就会使得输出结果在这个点发生阶跃，logistic函数（sigmoid）解决了阶跃函数的突然阶跃问题，使得输出的为0-1的概率，使得结果变得更平滑，他是一个单调上升的函数，具有良好的连续性，不存在不连续点。

在这里插入图片描述
饱和函数：输入达到一定值后，输出达到饱和后不再改变，例如sigmoid的值域为（0，1）

在这里插入图片描述

为什么要取指数?
第一个原因是要模拟 max 的行为，所以要让大的更大。
第二个原因是需要一个可导的函数
Softmax - 用于多分类神经网络输

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/874343