赞
踩
上式是nn.BCEWithLogitsLoss损失函数的计算公式,其中w_n对应weight参数。
如果我们在做多分类任务,有些类比较重要,有些类不太重要,想要模型更加关注重要的类别,那么只需将比较重要的类所对应的w权重设置大一点,不太重要的类所对应的w权重设置小一点。
下面是一个代码演示:
import torch import torch.nn as nn device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") a = torch.tensor([[1.0, 2.0],[1.0,2.0]]) m = nn.Sigmoid() b = torch.Tensor([[0, 1],[0,1]]) loss_function = nn.BCEWithLogitsLoss() loss_function1 = nn.BCEWithLogitsLoss(weight=torch.tensor([0, 1.0])) loss_function2 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 0])) loss_function3 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 1.0])) loss_function4 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 2.0])) loss = loss_function(a, b) loss1 = loss_function1(a, b) loss2 = loss_function2(a, b) loss3 = loss_function3(a, b) loss4 = loss_function4(a, b) print(loss, loss1, loss2, loss3, loss4)
运行结果:
其中[1.0, 2.0]经过sigmoid层之后的值是[0.7311,0.8808]
对于loss的计算过程如下所示:
其中pos_weight对应上式公式中的p_c,这个参数是为了调节正负样本不均衡问题的,如果正负样本比是10:1,那么我们可以将p_c设置为1/10来平衡正负样本。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。