【神经网络】优化器_神经网络优化器的作用

优化器作用：求出让损失函数最小化的参数
1、Adam
关联所有样本的梯度，便于求解全局最优解，始终含有前面梯度的信息，把前面的梯度传到后面
优点：自动调节学习率， 速度快， 梯度传导

optimizer=tf.train.AdamOptimizer(learning_rate=0.001)#收敛速度快，可以动态调节梯度
实例：
 loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=output, labels=y))#交叉熵损失函数
 optimizer = tf.train.AdamOptimizer(learning_rate=0.0001).minimize(loss)#优化器


1
2
3
4
5
6

最常用的梯度下降是Adam，在训练的最后阶段用SGD，可以提升准确率
2、梯度下降SGD
批量梯度下降：用所有的样本更新参数，计算量大
随机梯度下降：每看一个数据更新参数，更准确，但是计算量大
小批量随机下降：按批来更新参数，前两者的折中
缺点：（1）训练速度慢（2）容易陷入局部最优

optimizer=tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
实例：
 loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=output, 
1
2