深度学习7 hsigmoid硬件友好的激活函数实现

作者：花生_TL007 | 2024-02-28 20:51:27

踩

hsigmoid

hsigmoid激活函数是对sigmoid的近似，尽可能对sigmoid进行拟合。值域为【0,1】，斜率为1/6

公式为：

，相比于sigmoid的指数运算可以节省大量的计算时间。

基于relu函数实现，小于0置0，大于1置1


from keras.utils.generic_utils import get_custom_objects
tmp=0
def hsigmoid(x):
    x=x/6+0.5
    x=K.relu(x,max_value=1)*x/x
    return x
get_custom_objects().update({'hsigmoid': layers.Activation(hsigmoid)})

训练试用

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/161690