pytorch中的损失函数------BCELoss和BCEWithLogitsLoss

在进行pytorch编写程序过程中，会发现loss有两种相对较相似的或是看起来就是一类loss的函数，即BCELoss和BCEWithLogitsLoss，下面简单的描述一下。

首先，BCELoss创建一个标准来度量目标和输出之间的二元交叉熵，即对一个batch里面的数据做二元交叉熵并且求平均。BCELoss函数的形式如下：

CLASS torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')
1

其中，

1. weight： 给每个batch元素的权重，一般没用；
2. size_average: 默认为True；
3. reduce: True/False 默认为True，对每个minibatch做；
4. reduction: 指定返回各损失值，批损失均值，批损失和，默认返回批损失均值，用的比较多的是这个参数。

再次，BCEWithLogitsLoss函数是将Sigmoid层和BCELoss合并在一个类中，在数值上比使用一个简单的Sigmoid和一个BCELoss，通过将操作合并到一个层中，其利用log-sum-exp技巧来实现数值稳定性。具体形式如下：

CLASStorch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None)
1

实质上，BCELoss与BCEWithLogitsLoss差了一个Sigmoid函数。