Pytorch 常用损失函数_nn.l1loss

基本用法：

criterion = LossCriterion() 		# 构造函数有自己的参数
loss 	  = criterion(x, y) 		# 调用标准时也有参数
1
2

计算出来的结果已经对mini-batch取了平均

分类和回归的区别：在于输出变量的类型。
定量输出称为回归，或者说是连续变量预测；
定性输出称为分类，或者说是离散变量预测。

1、nn.L1Loss()

nn.L1Loss(size_average=True)
1

创建一个衡量输入x(模型预测输出) 和 目标y之间差的绝对值的平均值的标准。
$$loss(x,y)=\frac{1}{n}\sum |x_i-y_i|$$

x 和 y 可以是任意形状，每个包含n个元素。

对n个元素对应的差值的绝对值求和，得出来的结果除以n。

如果在创建L1Loss实例的时候在构造函数中传入size_average=False，那么求出来的绝对值的和将不会除以n。

2、nn.MSELoss()

nn.MSELoss(size_average=True)
1

创建一个衡量输入x(模型预测输出)和目标y之间均方误差标准。

$$loss(x,y)=\frac{1}{n}\sum (xi-yi)2$$

x 和 y 可以是任意形状，每个包含n个元素。

对n个元素对应的差值的绝对值求和，得出来的结果除以n。

如果在创建MSELoss实例的时候在构造函数中传入size_average=False，那么求出来的平方和将不会除以n。

3、nn.CrossEntropyLoss()

nn.CrossEntropyLoss(weight=None, size_average=True)
1

此标准将LogSoftMax和NLLLoss集成到一个类中。当训练一个多类分类器的时候，这个方法是十分有用的。

• weight(tensor): 1-D tensor，n个元素，分别代表n类的权重，如果你的训练样本很不均衡的话，是非常有用的。默认值为None。

调用时参数：

• input : 包含每个类的得分，2-D tensor，shape为 batch*n
• target: 大小为 n 的 1-D tensor，包含类别的索引(0到 n-1)。

Loss可以表述为以下形式：

$$loss(x,class)=-log\frac{exp(x[class])}{{\sum }_{j}exp(x[j]))}=-x[class]+log(\sum _{j}exp(x[j]))$$

当 $weight$ 参数被指定的时候，$loss$ 的计算公式变为：

$$loss(x,class)=weights[class]\ast (-x[class]+log(\sum _{j}exp(x[j])))$$

计算出的loss对mini-batch的大小取了平均。

形状(shape)：

• Input：(N,C) C 是类别的数量
• Target: (N) ：N是mini-batch的大小，$0⩽targets[i]⩽C-1$

4、nn.BCELoss()

nn.BCELoss(weight=None, size_average=True)
1

计算 target 与 output 之间的二分类交叉熵。

$$loss(o,t)=-\frac{1}{n}\sum _i(t[i]log(o[i])+(1-t[i])log(1-o[i]))$$

如果weight被指定 ：

$$loss(o,t)=-\frac{1}{n}\sum _{i}weights[i]\ast (t[i]log(o[i])+(1-t[i])\ast log(1-o[i]))$$

这个用于计算 auto-encoder 的 reconstruction error。注意 $0⩽target[i]⩽1$。

默认情况下，loss会基于element平均，如果size_average=False的话，loss会被累加。

5、nn.MarginRankingLoss()

nn.MarginRankingLoss(margin=0, size_average=True)
1

创建一个标准，给定输入 $x1$,$x2$ 两个1-D mini-batch Tensor’s，和一个$y$(1-D mini-batch tensor) ,$y$ 里面的值只能是-1或1。

如果 y=1，代表第一个输入的值应该大于第二个输入的值，如果y=-1的话，则相反。

mini-batch中每个样本的loss的计算公式如下：

$$loss(x,y)=max(0,-y\ast (x1-x2)+margin)$$

如果size_average=True,那么求出的loss将会对mini-batch求平均;
反之，求出的loss会累加。默认情况下，size_average=True。

6、nn.HingeEmbeddingLoss()

nn.HingeEmbeddingLoss(size_average=True)
1

给定一个输入 $x$ (2-D mini-batch tensor)和对应的 标签 $y$ (1-D tensor,1,-1)，此函数用来计算之间的损失值。这个loss通常用来测量两个输入是否相似，即：使用L1 成对距离。典型是用在学习非线性 embedding或者半监督学习中：

第n次小批量样品的损失函数为

$$l_n=\{\begin{array}{ll}{x}_n& \text{if: }{y}_n=1\\ max(0,\Delta -x_n)& \text{if: }{y}_n=-1\end{array}$$

总损失函数是：

$$\ell (x,y)=\{\begin{array}{ll}mean(L)& \text{if: reduction= ’mean’}\\ sum(L)& \text{if: reduction=’sum’ }\end{array}$$
​
$x$ 和 $y$ 可以是任意形状，且都有n的元素，loss的求和操作作用在所有的元素上，然后除以n。如果您不想除以n的话，可以通过设置size_average=False。margin的默认值为1,可以通过构造函数来设置。

7、nn.MultiLabelMarginLoss()

nn.MultiLabelMarginLoss(size_average=True)
1

计算多标签分类的 hinge loss(margin-based loss) ，计算loss时需要两个输入：

• input x：2-D mini-batch Tensor
• output y： 2-D tensor表示mini-batch中样本类别的索引

$$loss(x,y)=\frac{1}{x.size(0)}\sum _{i=0,j=0}^{I,J}max(0,1-(x[y[j]]-x[i]))$$

其中 $I=x.size(0),J=y.size(0)$。对于所有的$i$ 和 $j$，满足 $y[j]\ne 0,i\ne y[j]$

$x$ 和 $y$ 必须具有同样的 size。这个标准仅考虑了第一个非零 $y[j]targets$ 此标准允许了，对于每个样本来说，可以有多个类别。

8、nn.SmoothL1Loss

nn.SmoothL1Loss(size_average=True)
1

平滑版L1 loss，loss 的公式如下：

$$loss(x,y)=\frac{\sum z_i}{n}$$

$$z_i=\{\begin{array}{ll}0.5({x_i-y_i}^2)/beta& \text{ if ∣x i −y i ∣<beta}\\ |x_i-y_i|-0.5\times beat& \text{otherwise}\end{array}$$

此loss对于异常点的敏感性不如MSELoss，而且，在某些情况下防止了梯度爆炸，(参照 Fast R-CNN)。这个loss有时也被称为 Huber loss。x 和 y 可以是任何包含n个元素的tensor。默认情况下，求出来的loss会除以n，可以通过设置size_average=True 使 loss累加。

9、nn.SoftMarginLoss

nn.SoftMarginLoss(size_average=True)
1

创建一个标准，用来优化2分类的 logistic loss。输入为 x（一个 2-D mini-batch Tensor）和 目标y（一个包含1或 -1的Tensor）。

$$loss(x,y)=\frac{1}{x.nelement}\sum _{i}log(1+exp(-y[i]\ast x[i]))$$

如果求出的loss不想被平均可以通过设置 size_average=False。