ReLU6及keras实现_keras中有relu6吗

作者：知新_RL | 2024-02-25 00:52:10

踩

keras中有relu6吗

ReLU6：
首先说明一下ReLU6，卷积之后通常会接一个ReLU非线性激活，在Mobile net v1里面使用ReLU6，ReLU6就是普通的ReLU但是限制最大输出值为6，这是为了在移动端设备float16的低精度的时候，也能有很好的数值分辨率，如果对ReLU的激活范围不加限制，输出范围为0到正无穷，如果激活值非常大，分布在一个很大的范围内，则低精度的float16无法很好地精确描述如此大范围的数值，带来精度损失。

keras实现relu6

x = layers.ReLU(6., name='Conv1_relu')(x)
1

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/137333