深入理解: 为什么MSE Loss不适合处理分类任务？_mseloss

作者：Guff_9hys | 2024-08-09 03:18:45

踩

mseloss

引言

在深度学习中，损失函数的选择对于模型的训练和性能至关重要。均方误差损失（Mean Squared Error Loss，MSE Loss）常用于回归问题，但对于分类任务来说，其效果并不理想。本文将深入探讨为什么MSE Loss不适合处理分类任务。

分类任务的目标是将输入样本分为不同的类别。对于分类问题，以下特性使得MSE Loss并不适用：

假设当前任务为猫狗二分类任务，猫的label为1， one-hot编码为[0, 1]，狗的label是0，one-hot编码为[1, 0]；

假设选取模型的最后输出维度为(N, 2), 其中N为Batch size，2为num_classes。

问题1：为什么MSE Loss不适合处理分类任务？

如果我们选择MSE Loss作为猫狗二分类任务的损失函数，比如某个样本类别为猫，label为[0, 1], 模型的输出为[0.48, 0.52]。

那么MSE Loss所做的就是引导模型在处理这个样本时，模型输出的第一个值越接近0越好，模型输出的第二个值越接近1越好；但我们有必要让模型的输出精确到0/1吗？

分析

分类任务常用的评估指标是准确率，并不是回归任务常用的RMSE、MSE等指标；因此，对于分类任务，我们更在乎的是分类的准确率==>我们希望损失函数奖励正确分类，惩罚错误分类，而正确分类不一定非得让模型的输出精确到0/1；
我们实际上是利用argmax函数从模型的输出得到分类结果，argmax函数的功能简单来说就是返回序列最大值对应的索引，例如argmax([0.48, 0.52])的返回值为1, 也就是模型预测这个样本是猫==>实际上只要模型的输出的第二个值＞第一个值，就已经分类正确了。既然分类正确，对于这个样本的损失应该已经趋于平稳/收敛才比较合理，显然MSE Loss远远没有收敛(因为输出[0.48, 0.52]对于目标[0,1]还差得很远)
综合来看，MSE Loss并不适合处理分类任务。那么有没有一种Loss只要输出序列最大值的索引和标签能对上，就奖励(损失很低)，否则就惩罚(损失很高)呢?——负对数似然(Negative Log Likelihood, NLL)损失函数

公式如下：
NLL Loss

其中，N为样本个数， $output_{i}$ 表示第i个样本的输出(经过softmax函数，输出概率之和为1)， $label_{i}$ 表示第i个样本的标签(对于猫狗二分类，标签为0/1), 那么 $output_{i}[label_{i}]$ 表示的便是目标类别的输出概率。

NLL Loss函数以目标类别的预测概率作为输入，其曲线如下所示：
NLL Loss曲线

从上图可以看出：

因此，相比于MSE Loss, NLL Loss更适用于处理分类问题，而分类任务常用的交叉熵损失正是基于NLL Loss!!!(基于NLL Loss的交叉熵函数的pytorch保姆级复现见下期博客)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Guff_9hys/article/detail/951153