- 1管理系统页面布局 html,25 个精美的后台管理界面模板和布局
- 2Linux简介_简述linux的版本及特性。开源软件有哪些协议
- 3C#使用CryptoStream类加密和解密字符串_c# cryptostream
- 4前端在el-dialog中嵌套多个el-dialog_el-dialog嵌套el-dialog
- 5android_launcher的源码详细分析_android laucher源码分析
- 6RabbitMQ 安装及管理_rabbitmq 安装management
- 7机器学习_深度学习毕设题目汇总——图像检索_基于神经网络的毕设题目
- 8华为又一战略级生态启程：华为IdeaHub 使能千行百业
- 9一看媲美chatgpt的ai工具站notion ai
- 10java 宠物店管理系统_宠物管理系统java
Sigmoid函数求导_sigmoid函数的导数
赞
踩
Sigmoid函数求导
标签（空格分隔）： ML
sigmoid函数是神经网络中常用的激活函数之一，其定义为
σ
(
x
)
=
1
1
+
e
−
x
\sigma(x) = \frac{1}{1 + e^{-x}}
σ(x)=1+e−x1
该函数的定义域为
(
−
∞
,
+
∞
)
(-\infty,+\infty)
(−∞,+∞),值域为
(
0
,
1
)
(0,1)
(0,1)
sigmoid函数的导函数具有以下形式
σ
′
(
x
)
=
σ
(
x
)
[
1
−
σ
(
x
)
]
\sigma'(x) = \sigma(x)[1-\sigma(x)]
σ′(x)=σ(x)[1−σ(x)]
求导过程如下：
d
σ
(
x
)
d
(
x
)
=
d
(
(
1
+
e
−
x
)
−
1
)
d
(
x
)
=
e
−
x
(
1
+
e
−
x
)
2
=
σ
2
(
x
)
×
1
−
σ
(
x
)
σ
(
x
)
=
σ
(
x
)
[
1
−
σ
(
x
)
]
\frac{\mathrm{d}\sigma(x)}{\mathrm{d}(x)} = \frac{\mathrm{d}((1+e^{-x})^{-1})}{\mathrm{d}(x)} = \frac{e^{-x}}{(1+e^{-x})^2} = \sigma^2(x)\times\frac{1-\sigma(x)}{\sigma(x)} = \sigma(x)[1-\sigma(x)]
d(x)dσ(x)=d(x)d((1+e−x)−1)=(1+e−x)2e−x=σ2(x)×σ(x)1−σ(x)=σ(x)[1−σ(x)]
函数
l
n
σ
(
x
)
ln\sigma(x)
lnσ(x)和
l
n
(
1
−
σ
(
x
)
)
ln(1-\sigma(x))
ln(1−σ(x))的导函数分别为：
[
ln
σ
(
x
)
]
′
=
1
−
σ
(
x
)
,
[
ln
(
1
−
σ
(
x
)
)
]
′
=
−
σ
(
x
)
[\ln\sigma(x)]' = 1 - \sigma(x),[\ln(1-\sigma(x))]' = -\sigma(x)
[lnσ(x)]′=1−σ(x),[ln(1−σ(x))]′=−σ(x)
求导过程如下：
d
ln
σ
(
x
)
d
(
x
)
=
(
ln
1
)
′
−
(
ln
(
1
+
e
−
x
)
)
′
=
0
−
1
1
+
e
−
x
×
(
e
−
x
)
′
=
e
−
x
1
+
e
−
x
=
1
−
σ
(
x
)
\frac{\mathrm{d}\ln\sigma(x)}{\mathrm{d}(x)} = (\ln 1)' - (\ln(1 + e^{-x}))' = 0 - \frac{1}{1 + e^{-x}} \times (e^{-x})' = \frac{e^{-x}}{1+e^{-x}} = 1 - \sigma(x)
d(x)dlnσ(x)=(ln1)′−(ln(1+e−x))′=0−1+e−x1×(e−x)′=1+e−xe−x=1−σ(x)
d
ln
(
1
−
σ
(
x
)
)
d
(
x
)
=
(
ln
−
e
−
x
)
′
−
(
ln
(
1
+
e
−
x
)
)
′
=
−
1
+
e
−
x
1
+
e
−
x
=
−
σ
(
x
)
\frac{\mathrm{d}\ln(1-\sigma(x))}{\mathrm{d}(x)} = (\ln-e^{-x})' - (\ln(1+e^{-x}))' = -1 + \frac{e^{-x}}{1+e^{-x}} = -\sigma(x)
d(x)dln(1−σ(x))=(ln−e−x)′−(ln(1+e−x))′=−1+1+e−xe−x=−σ(x)
