lr_scheduler设置

lr_scheduler 是学习率调度器（Learning Rate Scheduler）的缩写。在深度学习中，学习率是指模型在训练过程中对参数进行更新的步长或者比例。学习率的选择对于模型的训练过程和性能至关重要。学习率调度器是一种策略，用于动态地调整学习率，以使训练过程更加有效。

学习率调度器的主要目标是在训练的不同阶段自适应地调整学习率，以实现更好的模型性能。以下是一些常见的学习率调度器：

1. StepLR： 在训练的每个阶段（epoch）结束时降低学习率。用户需要指定降低学习率的步长。

2. MultiStepLR： 与StepLR类似，但用户可以指定多个阶段进行学习率的调整。

3. ExponentialLR： 以指数方式降低学习率。用户需要指定一个衰减因子。

4. ReduceLROnPlateau： 当某个指标不再改善时，降低学习率。这通常在验证集上监测模型性能。

5. CosineAnnealingLR： 使用余弦函数调整学习率，适用于训练过程中的周期性变化。

6. CyclicLR： 通过在学习率范围内进行循环变化，引入学习率的周期性震荡。

这些学习率调度器允许在训练期间动态地调整学习率，以满足不同的需求。一般而言，较大的学习率可以加快模型的收敛速度，而较小的学习率有助于更精细地调整模型参数，提高模型的泛化性能。

在实际使用中，可以根据问题的特性、模型的训练情况和经验选择合适的学习率调度器。学习率调度器通常与优化器（optimizer）一起使用，以在训练过程中自动调整学习率。