pytorch验算CrossEntropyLoss ，BCELoss 和 BCEWithLogitsLoss_bce bcelogistic

一. 手动计算、log_softmax + nll_loss、nn.CrossEntropyLoss三种方式计算交叉熵：

(class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction=‘elementwise_mean’)
功能： 将输入经过softmax激活函数之后，再计算其与target的交叉熵损失。即该方法将nn.LogSoftmax()和 nn.NLLLoss()进行了结合。严格意义上的交叉熵损失函数应该是nn.NLLLoss()。

补充：交叉熵损失(cross-entropy Loss) 又称为对数似然损失(Log-likelihood Loss)、对数损失；二分类时还可称之为逻辑斯谛回归损失(Logistic Loss)。交叉熵损失函数表达式为 L = - sigama(y_i * log(x_i))。pytroch这里不是严格意义上的交叉熵损失函数，而是先将input经过softmax激活函数，将向量“归一化”成概率形式，然后再与target计算严格意义上交叉熵损失。 在多分类任务中，经常采用softmax激活函数+交叉熵损失函数，因为交叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，并不是概率分布的形式。所以需要softmax激活函数将一个向量进行“归一化”成概率分布的形式，再采用交叉熵损失函数计算loss。 再回顾PyTorch的CrossEntropyLoss()，官方文档中提到时将nn.LogSoftmax()和 nn.NLLLoss()进行了结合，nn.LogSoftmax() 相当于激活函数 ， nn.NLLLoss()是损失函数;

    import torch
    import numpy as np
    import math
    import torch.nn as nn
    import torch.nn.functional as F
    
    # 网络的输出分数，不是概率
    output_sample = torch.tensor([0.3, 0.4])
    # label
    target = torch.tensor([0])
1
2
3
4
5
6
7
8
9
10

1. 手动计算第一个样本的交叉熵（softmax + log + 交叉熵）依据上图公式

    # 1. 手动计算第一个样本的交叉熵（softmax + log + 交叉熵）根据公式一

    output_1 = output_sample.detach().numpy()
    target_1 = target.numpy()

    # 第一项类别
    x_class = output_1[target_1]            # 取出正确类的分数
    # 第二项：
    # log(e^(q1) + e^(q2)),   qi为预测的分数
    exp = math.e
    sigma_exp_x = pow(exp, output_1[0]) + pow(exp, output_1[1])
    log_sigma_exp_x = math.log(sigma_e
1
2
3
4
5
6
7
8
9
10
11