sigmoid函数解决溢出_Pytorch学习之激活函数

作者：Gausst松鼠会 | 2024-03-29 04:09:26

踩

pytorch sigmoid 出现范围外的值

1.定义：激活函数是神经网络中引入的非线性函数，用于捕获数据中的复杂关系。

2.激活函数的一般性质：

（1）单调可微

（2）限制输出的范围（输入的数据通过神经网络上的激活函数控制输出数值的大小）

（3）非线性

3.常见的激活函数：

sigmoid是最早使用的激活函数之一，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，用来做二分类，为每个类输出提供独立的概率。

sigmoid的表达式如下:

从表达式看出，sigmoid是光滑的、可微的函数。

优点：平滑、易于求导。用于输出层

缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/333672