神经网络的迭代是如何进行的_神经网络参数是如何迭代的

之前一直没有想明白一个batchsize的样本迭代一次究竟是怎样进行的

先理清一点，batchsize的选择或者是存在，是为了在内存效率和内存容量之间取一个平衡

在batchsize背景下，以batchsize个样本为单位，那么会有batchsize个输出，这batchsize个输出分别送进loss function中计算损失，通过反向传播算法，可以得到网络中相关参数的一组更新值，一共有batchsize组更新值

这些loss全部是在同一组旧参数下计算得到

等到这batchsize个样本处理完成，就可以更新网络的权重，更新值由前面的batchsize个数个组更新值相加得到

根据反向传播算法的原理，权重更新值的计算是要对loss function求导，把某个样本通过网络训练得到的输出带入loss function求导后的公式