神经网络中的反向传播_神经网络梯度反向传播

介绍

我们在 Python 神经网络教程的前几章中已经写过。我们运行神经网络一章中的网络缺乏学习能力。它们只能以随机设置的权重值运行。所以我们不能用它们解决任何分类问题。然而，在简单神经网络一章中的网络是能够学习的，但我们只将线性网络用于线性可分的类。

当然，我们想写通用的人工神经网络，能够学习。为此，我们必须了解反向传播。反向传播是训练人工神经网络，尤其是深度神经网络的常用方法。需要反向传播来计算梯度，我们需要调整权重矩阵的权重。我们网络的神经元（节点）的权重是通过计算损失函数的梯度来调整的。为此，使用梯度下降优化算法。它也称为错误的反向传播。

人们经常被其中使用的数学吓倒。我们试图用简单的术语来解释它。

许多关于山的文章或教程开始解释梯度下降。想象一下，您在夜间或大雾中被直升机带到一座山上，不一定是山顶。让我们进一步想象这座山在一个岛上，你想要到达海平面。你必须下去，但你几乎看不到任何东西，也许只有几米。你的任务是找到下山的路，但你看不到路。您可以使用梯度下降的方法。这意味着您正在检查当前位置的陡度。您将朝下坡最陡的方向前进。你只走了几步