devbox
Gausst松鼠会
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【深度学习基础】01激活函数：Sigmoid、Tanh、ReLU、Softmax系列及对应的变体_relu、softmax、sigmoid、tanh?

作者：Gausst松鼠会 | 2024-03-29 04:24:21

赞

踩

relu、softmax、sigmoid、tanh?

目录

Sigmoid系列

1. 优点：输出[0,1]、平滑易于求导

2. 缺点：计算量大、梯度消失、不易收敛

 3. Sigmoid变体：HardSigmoid、Swish、

Tanh系列

1. 优点：缓解梯度消失和不易收敛问题

2. 缺陷：运算复杂、仍存在梯度消失

3. Tanh变体：HardTanh、TanhShrink

 ReLU系列

1. 优势：收敛速度快、避免梯度消失、稀疏性

 2. 缺点：收敛效果差、梯度爆炸、神经元坏死

3. ReLU变体：LReLU、PReLU、 RReLU、ELU、SELU、GELU

Softmax系列

1. 优势：多分类模型

2. Softmax变体：LogSoftMax、Softmin

激活函数的选择

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/333754
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。