热门标签
当前位置: article > 正文
torch.nn模块之常用激活函数详解_torch.nn.sigmoid
作者：AllinToyou | 2024-03-07 13:47:15
赞
踩
torch.nn.sigmoid
1. 常用的激活函数
在PyTorch中，提供了十几种激活函数层所对应的类，但常用的激活函数类和和功能如下表1所示。
| 名称 | 层对应的类 | 功能 |
|---|---|---|
| S型激活函数 | torch.nn.Sigmoid |
Sigmoid激活函数 |
| 双曲正切函数 | torch.nn.Tanh |
Tanh激活函数 |
| 线性修正单元函数 | torch.nn.ReLu |
ReLu激活函数 |
| ReLu函数变体 | torch.nn.LeakyReLu |
LeakyReLu激活函数 |
| 平滑近似ReLu函数 | torch.nn.Softplus |
ReLu激活函数的平滑近似 |
2. 激活函数计算公式及其可视化
2.1 Sigmoid激活函数
torch.nn.Sigmoid()对应的Sigmoid激活函数，也叫logistic激活函数。
Sigmoid函数计算公式为
f ( x ) = 1 1 + e − x f(x)=\frac1{1+e^{-x}} f(x)=1+e−x1
Sigmoid函数的导数有一个特殊的性质（导数是关于原函数的函数），导数公式如下：
f ′ ( x ) = f ( x ) ∗ ( 1 − f ( x ) ) f'(x)=f(x)*(1-f(x)) f′(x)=
推荐阅读
相关标签
