TensorFlow 常用优化器：GradientDescent、Momentum、Adam_在tensorflow中,以下哪个优化器可以用来做梯度优化

Tensorflow中支持11中不同的优化器，包括：

• tf.train.Optimizer
• tf.train.GradientDescentOptimizer
• tf.train.AdadeltaOptimizer
• tf.train.AdagradOptimizer
• tf.train.AdagradDAOptimizer
• tf.train.MomentumOptimizer
• tf.train.AdamOptimizer
• tf.train.FtrlOptimizer
• tf.train.RMSPropOptimizer
• tf.train.ProximalAdagradOptimizer
• tf.train.ProximalGradientDescentOptimizer

常用的主要有3种，分别是

（1） GradientDescent

optimizer  = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
1

使用随机梯度下降算法，使参数沿着
梯度的反方向，即总损失减小的方向移动，实现更新参数。
$$W^{[l]}=W^{[l]}-\alpha d{W}^{[l]}$$$$b^{[l]}=b^{[l]}-\alpha d{b}^{[l]}$$

（2） Momentum

optimizer = tf.train.MomentumOptimizer(learning_rate,momentum).minimize(loss)
1

在更新参数时，利用了超参数
{ v d W [ l ] = β v d W [ l ] + ( 1 − β ) d W [ l ] v d b [ l ] = β v d b [ l ] + ( 1 − β ) d b [ l ]

$$\begin{cases} v_{dW^{[l]}} = \beta v_{dW^{[l]}} + (1 - \beta) dW^{[l]} \\ v_{db^{[l]}} = \beta v_{db^{[l]}} + (1 - \beta) db^{[l]} \end{cases}$$ {vdW[l]​=βvdW[l]​+(1−β)dW[l]vdb[l]​=βvdb[l]​+(1−β)db[l]​

{ W [ l ] = W [ l ] − α v d W [ l ] b [ l ] = b [ l ] − α v d b [ l ]

$$\begin{cases} W^{[l]} = W^{[l]} - \alpha v_{dW^{[l]}} \\ b^{[l]} = b^{[l]} - \alpha v_{db^{[l]}} \end{cases}$$ {W[l]=W[l]−αvdW[l]​b[l]=b[l]−αvdb[l]​​

其中，
$\beta$ : the momentum
$\alpha$ : the learning rate

（3） Adam

optimizer =  tf.train.AdamOptimizer(learning_rate=0.001, 
                                   beta1=0.9, beta2=0.999, 
                                   epsilon=1e-08).minimize(loss)
1
2
3

利用自适应学习率的优化算法（此时learning_rate传入固定值，不支持使用指数衰减方式），Adam 算法和随机梯度下降算法不同。随机梯度下降算法保持单一的学习率更新所有的参数，学习率在训练过程中并不会改变。而 Adam 算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
{ v d W [ l ] = β 1 v d W [ l ] + ( 1 − β 1 ) ∂ J ∂ W [ l ] v d b [ l ] = β 1 v d b [ l ] + ( 1 − β 1 ) ∂ J ∂ b [ l ] 　 　 ( m o m e n t ： β 1 )

$$\begin{cases} v_{dW^{[l]}} = \beta_1 v_{dW^{[l]}} + (1 - \beta_1) \frac{\partial \mathcal{J} }{ \partial W^{[l]} } \\ v_{db^{[l]}} = \beta_1 v_{db^{[l]}} + (1 - \beta_1) \frac{\partial \mathcal{J} }{ \partial b^{[l]} } \end{cases}$$ 　　(moment：\beta_1) {vdW[l]​=β1​vdW[l]​+(1−β1​)∂W[l]∂J​vdb[l]​=β1​vdb[l]​+(1−β1​)∂b[l]∂J​​　　(moment：β1​)

{ s d W [ l ] = β 2 s d W [ l ] + ( 1 − β 2 ) ( ∂ J ∂ W [ l ] ) 2 s d b [ l ] = β 2 s d b [ l ] + ( 1 − β 2 ) ( ∂ J ∂ b [ l ] ) 2 　 ( R M S p r o p : β 2 )

$$\begin{cases} s_{dW^{[l]}} = \beta_2 s_{dW^{[l]}} + (1 - \beta_2) (\frac{\partial \mathcal{J} }{\partial W^{[l]} })^2 \\ s_{db^{[l]}} = \beta_2 s_{db^{[l]}} + (1 - \beta_2) (\frac{\partial \mathcal{J} }{\partial b^{[l]} })^2 \end{cases}$$ 　(RMSprop:\beta_2) {sdW[l]​=β2​sdW[l]​+(1−β2​)(∂W[l]∂J​)2sdb[l]​=β2​sdb[l]​+(1−β2​)(∂b[l]∂J​)2​　(RMSprop:β2​)

{ v d W [ l ] c o r r e c t e d = v d W [ l ] 1 − 　 ( β 1 ) t v d W [ b ] c o r r e c t e d = v d W [ b ] 1 − 　 ( β 1 ) t s d W [ l ] c o r r e c t e d = s d W [ 2 ] 1 − 　 ( β 1 ) t s d W [ b ] c o r r e c t e d = s d W [ 2 ] 1 − 　 ( β 1 ) t 　 ( B i a s c o r r e c t i o n )

$$\begin{cases} v^{corrected}_{dW^{[l]}} = \frac{v_{dW^{[l]}}}{1 -　(\beta_1)^t} \\ v^{corrected}_{dW^{[b]}} = \frac{v_{dW^{[b]}}}{1 -　(\beta_1)^t} \\ s^{corrected}_{dW^{[l]}} = \frac{s_{dW^{[2]}}}{1 -　(\beta_1)^t} \\ s^{corrected}_{dW^{[b]}} = \frac{s_{dW^{[2]}}}{1 -　(\beta_1)^t} \end{cases}$$ 　(Bias correction) ⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​vdW[l]corrected​=1−　(β1​)tvdW[l]​​vdW[b]corrected​=1−　(β1​)tvdW[b]​​sdW[l]corrected​=1−　(β1​)tsdW[2]​​sdW[b]corrected​=1−　(β1​)tsdW[2]​​​　(Biascorrection)

{ W [ l ] = W [ l ] − α v d W [ l ] c o r r e c t e d s d W [ l ] c o r r e c t e d 　 　 + 　 ε b [ l ] = b [ l ] − α v d b [ l ] c o r r e c t e d s d b [ l ] c o r r e c t e d 　 　 + 　 ε

$$\begin{cases} W^{[l]} = W^{[l]} - \alpha \frac{v^{corrected}_{dW^{[l]}}}{\sqrt{s^{corrected}_{dW^{[l]}}}　　 + 　\varepsilon}\\ b^{[l]} = b^{[l]} - \alpha \frac{v^{corrected}_{db^{[l]}}}{\sqrt{s^{corrected}_{db^{[l]}}}　　 +　 \varepsilon} \end{cases}$$ ⎩⎪⎪⎨⎪⎪⎧​W[l]=W[l]−αsdW[l]corrected​ ​　　+　εvdW[l]corrected​​b[l]=b[l]−αsdb[l]corrected​ ​　　+　εvdb[l]corrected​​​

其中，

• ${\beta }_1$ and ${\beta }_2$ are hyperparameters that control the two exponentially weighted averages.
• $\alpha$ is the learning rate
• $\epsilon$ is a very small number to avoid dividing by zero