神经网络梯度下降优化参数

损失函数

神经网络的最终目的就是最小化损失函数的过程，损失函数越小，证明模型的预测值就越接近真实值。

梯度下降算法

为了最优化损失函数，开发了梯度下降算法，这里的梯度就是高等数学中的梯度。

误差反向传播算法

前向传播介绍

参数解释：这里的神经元阈值跟生物学中的神经兴奋类似，达到阈值以后就输出。连接权重表明了不同变量对于最终的输出结果的影响程度的不同。

• 首先用输入参数和连接权重的乘积减去阈值获得隐藏层值
• 用隐藏层值和连接权重的乘积减去阈值获得真实输出
• 计算真实值和预期值之间的误差

反向传播优化

• 根据前向传播可以知道待优化的参数有权重和阈值两个参数

• 优化过程涉及学习率这个概念，简单理解就是在进行梯度下降算法的时候每一次迭代过程中下降的幅度，下降幅度过大就会导致过拟合，下降幅度太小会导致很长时间都没法拟合到最优解。