激活函数——sigmoid函数（理解）

作者：花生_TL007 | 2024-03-29 04:08:10

踩

sigmoid有哪些特性?激活函数了解多少?怎么选择

0 - 定义

　　$Sigmoid$函数是一个在生物学中常见的S型函数，也称为$S$型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，$Sigmoid$函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

　　其曲线如下图：

1 - 导数

\begin{aligned} s i g m o i d^{^{'}} (x) & = (\frac{1}{1 + e^{- x}})^{^{'}} \\ = \frac{1}{1 + e^{- x}} e^{- x} (- 1) \\ = \frac{e^{- x}}{(1 + e^{- x})^{2}} \\ = \frac{1}{1 + e^{- x}} (1 - \frac{1}{1 + e^{- x}}) \\ = s i g m o i d (x) (1 - s i g m o i d (x)) \end{aligned}

$\begin{align*} sigmoid^{'}(x)&=(\frac{1}{1+e^{-x}})^{'} \\ &=\frac{1}{1+e^{-x}}e^{-x}(-1)\\ &=\frac{e^{-x}}{(1+e^{-x})^2}\\ &=\frac{1}{1+e^{-x}}(1-\frac{1}{1+e^{-x}})\\ &=sigmoid(x)(1-sigmoid(x)) \end{align*}$

2 - 参考资料

https://baike.baidu.com/item/Sigmoid函数/7981407?fr=aladdin

转载于:https://www.cnblogs.com/CZiFan/p/9855147.html

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/333664