Scale-Invariant Error

Eigen D., Puhrsch C. and Fergus R. Depth Map Prediction from a Single Image using a Multi-Scale Deep Network. NIPS 2014.

概

看这篇文章单纯是为了看一看这个scale-invariant error.

主要内容

我们时常通过平方误差来衡量两个图片的差异, 但是这个损失是很依赖与scale的.
比如, 有两个图片$\mathbf{x},{\mathbf{x}}^{\prime }$, 则其误差为
$$\Vert \mathbf{x}-{\mathbf{x}}^{\prime }{\Vert }_2^2=\sum _{i=1}^n({\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }{)}^2,$$
倘若此时$x$的每一个元素都增加了$c$, 则变成了
$$\Vert \mathbf{x}+c-{\mathbf{x}}^{\prime }{\Vert }_2^2,$$
这个实际不是非常友好的, 我们是希望这个损失最好是Scale-Invariant的, 所以我们在损失的部分加入一个值
$$\Vert \mathbf{x}-{\mathbf{x}}^{\prime }+\alpha {\Vert }_2^2,$$
注意, 这里的$\mathbf{x}$可以理解为$\mathbf{x}+c$, 那么选择一个怎样的$\alpha$能够使得上述的误差最小呢(关于特定的$\mathbf{x},{\mathbf{x}}^{\prime }$).
$$2(\mathbf{x}-{\mathbf{x}}^{\prime }+\alpha {)}^{T}1=0\Rightarrow \alpha =\frac{1}{n}({\mathbf{x}}^{\prime }-\mathbf{x}{)}^{T}1=\frac{1}{n}\sum _{i=1}^n(x_i^{\prime }-x_i).$$

故, 最后的损失函数是
$$\Vert \mathbf{x}-{\mathbf{x}}^{\prime }+\frac{1}{n}(\mathbf{x}-{\mathbf{x}}^{\prime }{)}^{T}1{\Vert }_2^2=\Vert \mathbf{x}-{\mathbf{x}}^{\prime }{\Vert }_2^2-\frac{1}{n}((\mathbf{x}-{\mathbf{x}}^{\prime }{)}^{T}1{)}^2.$$

注: 如果我们将像素置于对数空间, 即考虑$\log \mathbf{x}$, 则上述实际上考虑的$c\cdot \mathbf{x}$ 的scale.

代码

import torch
import torch.nn as nn
import torch.nn.functional as F

def scale_invariant_loss(outs: torch.Tensor, targets: torch.Tensor, reduction="mean"):
    """
    outs: N ( x C) x H x W
    targets: N ( x C) x H x W
    reduction: ...
    """
    outs = outs.flatten(start_dim=1)
    targets = targets.flatten(start_dim=1)
    alpha = (targets - outs).mean(dim=1, keepdim=True)
    return F.mse_loss(outs + alpha, targets, reduction=reduction)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15