当前位置:   article > 正文

nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法_bcewithlogitsloss pos_weight

bcewithlogitsloss pos_weight

nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法

weight参数

nn,BCEWithLogitsLoss损失函数计算公式
上式是nn.BCEWithLogitsLoss损失函数的计算公式,其中w_n对应weight参数。
如果我们在做多分类任务,有些类比较重要,有些类不太重要,想要模型更加关注重要的类别,那么只需将比较重要的类所对应的w权重设置大一点,不太重要的类所对应的w权重设置小一点。
下面是一个代码演示:

	import torch
    import torch.nn as nn

    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
    a = torch.tensor([[1.0, 2.0],[1.0,2.0]])
    m = nn.Sigmoid()
    b = torch.Tensor([[0, 1],[0,1]])
    loss_function = nn.BCEWithLogitsLoss()
    loss_function1 = nn.BCEWithLogitsLoss(weight=torch.tensor([0, 1.0]))
    loss_function2 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 0]))
    loss_function3 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 1.0]))
    loss_function4 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 2.0]))
    loss = loss_function(a, b)
    loss1 = loss_function1(a, b)
    loss2 = loss_function2(a, b)
    loss3 = loss_function3(a, b)
    loss4 = loss_function4(a, b)
    print(loss, loss1, loss2, loss3, loss4)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

运行结果:
运行结果
其中[1.0, 2.0]经过sigmoid层之后的值是[0.7311,0.8808]
对于loss的计算过程如下所示:
loss计算过程

pos_weight参数

BCEWithLogitsLoss损失函数计算公式
其中pos_weight对应上式公式中的p_c,这个参数是为了调节正负样本不均衡问题的,如果正负样本比是10:1,那么我们可以将p_c设置为1/10来平衡正负样本。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/493361
推荐阅读
相关标签
  

闽ICP备14008679号