Thin Plate Spline TPS薄板样条变换基础理解

什么是图像扭曲问题？

给定控制点$(x_i, y_i)$​​​​​​​和相应位移点稀疏对应集，我们需要找到一个映射，且两点之间的尽可能平滑。

径向基函数插值

起初，我们只有一组稀疏的控制点对应信息。最简单的方法来推断其他点是一个线性插值，插值点将沿着连接最近的控制点的分段移动，如下所示。

然而，我们想要的是一个通过紧密控制点得到的平滑的插值函数，这就是径向基函数作用。

以每个控制点为中心放一个核函数，那么中间的点由得到。其中是点周围径向基核函数的权重。待变化的点离控制点越远，受内核影响的程度就越小。一些核由于其中心周围邻近点的密度和大小较大，对整体光滑轮廓的影响比其他核大。

 假设有三个控制点，权重 将是下列线性系统的解

即

径向基函数可以是高斯核$e^{\frac{-r^2}{2\sigma}}$或$r^2 log(r)$，这是一维情况下的TPS薄板样条函数。

Thin Plate Spline

现在，介绍二维warp下的Thin Plate Spline warping。

给定红色叉点和预期移动到的蓝色圆点，我们想解得两个光滑函数，采样后使得其他离散点可沿x和y方向位移（图中箭头）。

两个光滑函数如下所示

$f_{x'}(x,y) = a_1 + a_xx +a_yy + \sum_{i=1}^N{w_i U(||(x_i, y_i) - (x,y)||)} \\ f_{y'}(x,y) = a_1 + a_xx +a_yy + \sum_{i=1}^N{w_i U(||(x_i, y_i) - (x,y)||)}$

其中前三个系数$(a_1, a_x, a_y)$表示能通过所有控制点$(x_i, y_i)$最逼近x'（或y'）的线性平面，$w_i$表示每个控制点的控制权重，$U(||((x_i, y_i) - (x,y))||)$表示核函数，例如薄板样条核$U(r) = r^2log(r)$，接受的参数为待移动点与控制点的距离$||((x_i, y_i) - (x,y))||$，下图为薄板样条核可视化，待变换点离内核中心(控制点)越近，它的高度或返回值就越高。 

 How to solve

每个薄板样条函数的系数$(a,a_x,a_y,w_i)$由以下线性系统解出

$\begin{bmatrix}K & P \\ P^T & O \\ \end{bmatrix} \times \begin{bmatrix}w\\a\end{bmatrix} =\begin{bmatrix}v\\o\end{bmatrix}$

其中$K_{ij} = U(distance((x_i,y_i), (x_j, y_j))$,$P$由$(1,x_i,y_i$)组成

$v$是所有控制点组成的向量。第一行$[K \ \ P]\times[v, o]^T$表示由所有$(x_i,y_i)$替代得到的函数$f_{x'}$或$f_{y'}$

$f_{x'}(x,y) = a_1 + a_xx +a_yy + \sum_{i=1}^N{w_i U(||(x_i, y_i) - (x,y)||)} \\ f_{y'}(x,y) = a_1 + a_xx +a_yy + \sum_{i=1}^N{w_i U(||(x_i, y_i) - (x,y)||)}$

第二行$[P^T\ \ O]$表示系统的额外约束，解释见原paper

$\sum_{i=1}^N{w_i} = 0 \ \ \ \ \ \ (1) \\ \sum_{i=1}^N{w_ix_i} = \sum_{i=1}^N{w_iy_i} = 0 \ \ \ \ \ \ (2)$

假设有三个控制点，则线性系统如下

$\begin{bmatrix} K_{00} & K_{10} & K_{20}&1&x_0&y_0 \\ K_{01} & K_{11} & K_{21}&1&x_1&y_1 \\ K_{02} & K_{12} & K_{22}&1&x_2&y_2 \\ 1 & 1 & 1&0&0&0\\ x_0&x_1&x_2&0&0&0\\ y_0&y_1&y_2&0&0&0\\ \end{bmatrix} \times \begin{bmatrix} w_0\\w_1\\w_2\\a_0\\a_x\\a_y \end{bmatrix} =\begin{bmatrix}x'_0\\x'_1\\x'_2\\0\\0\\0\end{bmatrix}$

$\begin{bmatrix} K_{00} & K_{10} & K_{20}&1&x_0&y_0 \\ K_{01} & K_{11} & K_{21}&1&x_1&y_1 \\ K_{02} & K_{12} & K_{22}&1&x_2&y_2 \\ 1 & 1 & 1&0&0&0\\ x_0&x_1&x_2&0&0&0\\ y_0&y_1&y_2&0&0&0\\ \end{bmatrix} \times \begin{bmatrix} w_0\\w_1\\w_2\\a_0\\a_x\\a_y \end{bmatrix} =\begin{bmatrix}y'_0\\y'_1\\y'_2\\0\\0\\0\end{bmatrix}$

总结如下：

由LW=Y解得W矩阵：