- 1【文本分类】Bag of Tricks for Efficient Text Classification_复现bag of tricks for efficient text classification
- 2阿里云在线扩容云盘（Linux系统）_cloud-guest-utils
- 3scrcpy 投屏电脑能正常显示,但是没法用鼠标操作_scrcpy打开后投屏成功但鼠标无法操作
- 4[Pytorch]：PyTorch中张量乘法大全
- 5论文笔记之SENet_senet加入残差
- 65个ChatGPT功能让你嘎嘎提升写代码效率和质量_chatgpt 写代码
- 7MuLTI：高效视频与语言理解
- 8【天幕系列 03】深度学习领域的最新前沿：2024年的关键突破与趋势_深度学习的最新研究
- 9【机器学习】机器学习创建算法第3篇：K-近邻算法,学习目标【附代码文档】
- 10检查Uniswap V2 和 Uniswap V3 之间的价格差异 获取套利可能性数据
Sigmoid 函数的求导过程_sigmoid函数求导
赞
踩
Sigmoid 函数的公式如下：
σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1
求导之前，先看一下 x x x 是如何一步一步变化到 σ ( x ) \sigma(x) σ(x)的：
σ : x → − x → e − x → 1 + e − x → ( 1 + e − x ) − 1 \sigma : x\rightarrow-x \rightarrow e^{-x} \rightarrow 1 + e^{-x} \rightarrow (1+e^{-x})^{-1} σ:x→−x→e−x→1+e−x→(1+e−x)−1
假设有如下四个函数：
f
:
x
→
−
x
f : x\rightarrow -x
f:x→−x
g
:
f
→
e
f
g : f\rightarrow e^{f}
g:f→ef
h
:
g
→
1
+
g
h : g\rightarrow 1 + g
h:g→1+g
σ
:
h
→
h
−
1
\sigma: h\rightarrow h^{-1}
σ:h→h−1
那么有：
σ
(
x
)
=
h
∘
g
∘
f
(
x
)
\sigma(x) = h \circ g \circ f(x)
σ(x)=h∘g∘f(x)
根据链式求导法则：
∂
σ
∂
x
=
∂
σ
∂
h
∂
h
∂
g
∂
g
∂
f
∂
f
∂
x
\frac{\partial{\sigma}}{\partial{x}} = \frac{\partial{\sigma}}{\partial{h}}\frac{\partial{h}}{\partial{g}}\frac{\partial{g}}{\partial{f}}\frac{\partial{f}}{\partial{x}}
∂x∂σ=∂h∂σ∂g∂h∂f∂g∂x∂f
其中
∂
σ
∂
h
=
−
h
−
2
\frac{\partial{\sigma}}{\partial{h}} = -h^{-2}
∂h∂σ=−h−2
∂
h
∂
g
=
1
\frac{\partial{h}}{\partial{g}} = 1
∂g∂h=1
∂
g
∂
f
=
e
f
\frac{\partial{g}}{\partial{f}} = e^{f}
∂f∂g=ef
∂
f
∂
x
=
−
1
\frac{\partial{f}}{\partial{x}} = -1
∂x∂f=−1
所以：
∂
σ
∂
x
=
−
h
−
2
⋅
1
⋅
e
f
⋅
(
−
1
)
\frac{\partial{\sigma}}{\partial{x}} =-h^{-2}\cdot1\cdot e^{f}\cdot(-1)
∂x∂σ=−h−2⋅1⋅ef⋅(−1)
其中：
h
=
1
+
e
−
x
h = 1+e^{-x}
h=1+e−x
f
=
−
x
f=-x
f=−x
所以：
即：
∂
σ
∂
x
=
σ
(
x
)
⋅
(
1
−
σ
(
x
)
)
\frac{\partial{\sigma}}{\partial{x}}=\sigma{(x)}\cdot(1-\sigma{(x)})
∂x∂σ=σ(x)⋅(1−σ(x))
