【深度学习基础】模型优化

作者：木道寻08 | 2024-07-25 06:13:47

踩

【深度学习基础】模型优化

深度学习之优化

所有样本一起训练。

所有样本一起训练一次叫一个epoch

一次训练的不是全部的样本。

一次只训练一个样本，然后用这个样本来更新梯度。我们通常说的SGD是指miniSGD

如下图所示：在这里插入图片描述
鞍点是一个平的点，在该点处梯度为0，但是并不是我们想要的点。

对于复杂的模型，某个点的梯度非常大，以至于下一步不知道往哪走。
对于梯度爆炸通常采用梯度裁剪的方式，即设定一个值，当梯度超过这个值的时候就把梯度设定为该值。

可以理解为惯性。
在这里插入图片描述

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/878733