赞
踩
其中x是到神经元的输入。这也称为斜坡函数,并且类似于电气工程中的半波整流。这种激活函数首先由Hahnloser等人引入动力网络。在2000年的论文在自然[1]具有强大的生物动机和数学理由。[2]它被广泛应用于卷积网络[3],比广泛使用的逻辑sigmoid(灵感来自概率论 ;见逻辑回归)和其更实用的[4]对应,双曲正切。整流器是,到2015年,最深入的神经网络最流行的激活功能。[5]
使用整流器的单元也称为整流线性单元(ReLU)。[6]
整流器的平滑近似是分析函数
这称为softplus功能。[7] softplus的派生{\ displaystyle f'(x)= e ^ {x} /(e ^ {x} +1)= 1 /(1 + e ^ { - x})},即对数函数。
整流线性单位在计算机视觉[3]和语音识别[8] [9]中应用深层神经网络。
对数函数或对数曲线是常见的“S”形(S形曲线),其等式:
哪里
对于从-∞到+∞ 的实数范围内的x的值,获得右侧所示的S曲线(随着x接近+∞,f接近L的曲线图,并且当x接近-∞时接近零)。
该功能是在1844年至1845年名为皮埃尔·弗朗索瓦费尔哈斯,谁在与人口增长研究它。[2]生长的初始阶段大约是指数的 ; 然后,随着饱和开始,生长减慢,并且在成熟时,生长停止。
物流功能发现在一系列领域,包括应用人工神经网络,生物学(特别是生态学),生物数学,化学,人口学,经济学,地球科学,数学心理学,概率,社会学,政治学,语言学和统计。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。