tf.keras.optimizers.Adam函数

函数原型

tf.keras.optimizers.Adam(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    name='Adam',
    **kwargs
)
1
2
3
4
5
6
7
8
9

函数说明

Adam函数定义了参数更新的方式，模型参数$\theta$的具体更新过程如下所示：

参数leanrning_rate对应于学习率或者步长$\alpha$；参数beta_1，beta_2对应于${\beta }_1$，${\beta }_2$，表示梯度的带权平均和带权方差，初始为0向量；参数epsilon对应于$ϵ$。

建议参数${\beta }_1$=0.9，${\beta }_2$=0.99，$ϵ$=10^-8。针对特定问题，需要结合数值选择合适的算法。

函数使用

# 优化器adam
optimizer = tf.keras.optimizers.Adam(0.001)
# 应用梯度，这里会可以更新的参数应用梯度，进行参数更新
optimizer.apply_gradients(zip(gradients, elmo.trainable_variables)) 
1
2
3
4