devbox
喵喵爱编程
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【深度学习基础】01激活函数：Sigmoid、Tanh、ReLU、Softmax系列及对应的变体_sigmoid softmax logsoftmax的区别

作者：喵喵爱编程 | 2024-07-19 20:11:04

赞

踩

sigmoid softmax logsoftmax的区别

目录

Sigmoid系列

1. 优点：输出[0,1]、平滑易于求导

2. 缺点：计算量大、梯度消失、不易收敛

 3. Sigmoid变体：HardSigmoid、Swish、

Tanh系列

1. 优点：缓解梯度消失和不易收敛问题

2. 缺陷：运算复杂、仍存在梯度消失

3. Tanh变体：HardTanh、TanhShrink

 ReLU系列

1. 优势：收敛速度快、避免梯度消失、稀疏性

 2. 缺点：收敛效果差、梯度爆炸、神经元坏死

3. ReLU变体：LReLU、PReLU、 RReLU、ELU、SELU、GELU

Softmax系列

1. 优势：多分类模型

2. Softmax变体：LogSoftMax、Softmin

激活函数的选择

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/喵喵爱编程/article/detail/853315
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。