赞
踩
梯度下降、反向传播、激活函数、参数初始化、批量归一化是深度学习中常用的几个概念。下面我将对这些概念进行简要的凝练解释,并给出相应的例子。
y = wx + b
,损失函数为 L = (y - y_pred)^2
。通过梯度下降更新 w
和 b
,使得 L
最小。x
,经过一层线性变换 Wx + b
,然后经过激活函数 f
,得到输出 f(Wx + b)
。反向传播用于计算 W
和 b
的梯度。f(x) = max(0, x)
。W
初始化为随机小数,偏置向量 b
初始化为 0。x_normalized = (x - mean) / std
,其中 mean
和 std
是该批数据的均值和标准差。Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。