caffe中的loss值，训练loss比测试loss更大，为什么？_训练集损失比测试集大

作者：盐析白兔 | 2024-02-23 03:33:26

踩

训练集损失比测试集大

在caffe中，训练的时候，默认会打印出测试的loss值和训练的loss值，比如下图

第一个loss值0.380612是指模型在测试阶段，但是在训练集上的loss值，

第二个loss值0.416171是指模型在测试阶段，在测试集上的loss值

第三个loss值是训练阶段打印出的loss值

但是这里比较奇怪的是为什么训练阶段的loss最大？而且为什么这个loss值和测试阶段在测试集上的loss值不一样大？

初步猜测可能是因为drop的影响，在训练阶段是包括dropout层，而测试阶段无此层，删除dropout层后，再训练，发现训练阶段的loss确实会更小一些，但也视情况而定，有时候会更小，有时候会更大。这个可能原因在于，模型还没有完全稳定下来。

待模型稳定后，训练阶段的loss和测试阶段在训练集上的loss基本一致，且比测试阶段在测试集上的loss要小。

收敛/稳定之后，有时候训练阶段的loss会比测试集上的loss小，和测试阶段训练集的loss一致，但有时候也会比较大。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/133377