多分类交叉熵损失函数的梯度计算过程推导_分类损失求梯度的方法

作者：AllinToyou | 2024-04-03 00:10:11

踩

分类损失求梯度的方法

Softmax函数公式：
在这里插入图片描述
S_i 代表的是第i个神经元的输出

其中w_ij 是第i个神经元的第 j 个权重，b是偏移值。z_i 表示该网络的第i个输出

隐藏层输出经过softmax：
在这里插入图片描述
具体过程如下图所示：

神经元输出结果
z4 = w1x1+w2x2+w3x3
z5 = w4x1+w5x2+w6x3
z6 = w7x1+w8x2+w9*x3
经过softmax函数得到

多分类损失函数公式：
在这里插入图片描述其中y_i表示真实的分类结果

利用损失函数求梯度
在这里插入图片描述
已知不做推导

求解书过程推导：
在这里插入图片描述

如果i等于j：

如果i不等于j：

针对分类问题，给定的结果y_i 最终只会有一个类别是1，其他类别都是0，因此，对于分类问题，这个梯度等于：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/354120

多分类交叉熵损失函数的梯度计算过程推导_分类损失 求梯度的方法