opencv中插值算法详解_lanczos插值

作者：羊村懒王 | 2024-04-14 16:25:35

踩

lanczos插值

导读

做图像处理的同学应该经常都会用到图像的缩放，我们都知道图片存储的时候其实就是一个矩阵，所以在对图像进行缩放操作的时候，也就是在对矩阵进行操作，如果想要将图片放大，这里我们就需要用到过采样算法来扩大矩阵，利用欠采样来缩小图像。
在这里插入图片描述
如上图所示，左图是原图像矩阵，右图是扩大后的图像矩阵，右图中的橙色点表示的是矩阵扩大之后通过插值算法填充的像素值。所以，这篇文章我们主要探讨的就是如何来通过插值算法来填充像素值

插值算法效果对比

在这里插入图片描述
我们通过随机生成一个5×5的图片，然后通过不同的插值算法将其放大10倍之后，来对比最终图片的效果。

import cv2
import numpy as np
from matplotlib import pyplot as plt

#随机生成一张图片用于测试插值算法
img = np.uint8(np.random.randint(0,255,size=(5,5)))
height,width = img.shape

#设定通过插值之后图片的size
new_dimension = (50,50)

def img_draw_subplot(subplot_position,img,title_name,cmap):
    plt.subplot(subplot_position)
    plt.title(title_name)
    plt.imshow(img,cmap)

def image_interpolation(img,new_dimension,inter_method):
    inter_img = cv2.resize(img,new_dimension,interpolation=inter_method)
    return inter_img

#设置cmap
cmap = "gray"

#最近邻插值算法
nearest_img = image_interpolation(img,new_dimension,cv2.INTER_NEAREST)
#双线性插值算法,resize函数默认的插值算法
linear_img = image_interpolation(img,new_dimension,cv2.INTER_LINEAR)
#三次样条插值算法
cubic_img = image_interpolation(img,new_dimension,cv2.INTER_CUBIC)
#区域插值
area_img = image_interpolation(img,new_dimension,cv2.INTER_AREA)
#Lanczos插值
lanczos_img = image_interpolation(img,new_dimension,cv2.INTER_LANCZOS4)
img_draw_subplot(231,img,"src Image",cmap=cmap)
img_draw_subplot(232,nearest_img,"Nearest interpolation",cmap=cmap)
img_draw_subplot(233,linear_img,"Linear interpolation",cmap=cmap)
img_draw_subplot(234,cubic_img,"cubic interpolation",cmap=cmap)
img_draw_subplot(235,area_img,"Area interpolation",cmap=cmap)
img_draw_subplot(236,lanczos_img,"Lanczos interpolation",cmap=cmap)

plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

如果大家觉得灰度图不方便观察，我们可以通过设置plt.imshow的cmap参数来控制颜色，matplotlib提供了几种不同的类别的色彩映射方式

cmap的类别

Sequential
通常使用单一的色调，逐渐增加亮度和颜色，可以用来表示有序的信息
Diverging
通过改变两种不同的颜色的亮度和饱和度，在中间以不饱和的颜色相遇，通常来用绘制具有关键的中间值或者数据偏离零的信息
Cyclic
改变两种不同颜色的亮度，在中间和开始/结束以不饱和的颜色相遇，应用于在端点出环绕的信息。
Qualitative
用于表示没有关系和排序的信息
Miscellaneous
同上

这里我们为了方便观察不同插值算法之间的区别，我们可以选用杂色来来观察，这里我就随机选用了Set1，只需要将上面代码中的cmap改成了Set1即可

通过初步观察不同插值算法后的效果图片我们可以发现，最近邻插值和区域插值算法的效果，而线性插值、三次样条插值、Lanczos插值整体效果看起来差不多，不过细节部分还是有所差别，接下来我们就从这几种插值算法来分析一下。

最近邻插值(Nearest Interpolation)

最近邻插值也称近端插值，是一种在一维或多维空间上进行多变元插值的简单方法。插值是一种通过已知的、离散的数据点，在范围内推求新数据点的过程或方法。最近邻插值算法选择距离所求数据点最近点的值，并且根本不考虑其他相邻点的值，从而产生一个分段常数的内插值来作为所求数据点的值。
在这里插入图片描述
如上图所示，黑色的×表示需要插入的值，它会选择距离它最近的 $P_{x+1,y}$ 的值来作为它的值。
如果距离四个点的距离都相等，最近邻插值会如何选择？

通过上图不能发现，当插入的值距离四个点都相等时，会选择距离最近的左上角的值，这是
因为图像坐标系的原点位于左上角。
1
2

线性插值(Linear interpolation)

这里的线性插值其实是指双线性插值，这种插值算法也是resize函数中默认使用的插值算法。
双线性插值，也被称为双线性内插。双线插值是对线性插值在二维坐标系上的扩展，用于对双变量函数进行插值，其核心思想是在两个方向上分别进行一次线性插值。
为了帮助大家更好的理解双线性插值算法，我们先来看线性插值
假设我们已知坐标 $x_0,y_0)$ 与 $x_1,y_1)$ ，我们想要得到在区间 $x_0,x_1]$ 上任意位置 $x$ 所对应 $y$ 的值，如下图所示
在这里插入图片描述
我们可以求出直线的方程，然后将 $x$ 坐标代入到方程就可以求出对应的 $y$ 值，通过直线方程的两点式可以得到
$\frac{y-y_0}{x-x_0}=\frac{y_1-y_0}{x_1-x_0}\\$
然后我们根据已知的 $x$ ，将其代入上式可得
$y=y_0+(x-x_0)\frac{y_1-y_0}{x_1-x_0}=y_0+\frac{(x-x_0)y_1-(x-x_0)y_0}{x_1-x_0}$
再了解线性插值以后，我们再来看看双线性插值
假如我们想得到未知函数 $f$ 在点 $P = (x, y)$ 的值，假设我们已知函数 $f$ 在 $Q_{11}=(x_1,y_1)$ ， $Q_{12}=(x_1,y_2)$ ， $Q_{21}=(x_2,y_1)$ 及 $Q_{22}=(x_2,y_2)$ 四个点的值
在这里插入图片描述
首先在 $x$ 方向进行线性插值，利用 $Q_{11}$ 和 $Q_{21}$ 可以求得 $R_1$ 的 $y$ 值，利用 $Q_{12}$ 和 $Q_{22}$ 可以求得 $R_2$ 的 $y$ 值
$f(R_1)\approx\frac{x_2-x}{x_2-x_1}f(Q_{11})+\frac{x-x_1}{x_2-x_1}f(Q_{21})\\ f(R_2)\approx\frac{x_2-x}{x_2-x_1}f(Q_{12})+\frac{x-x_1}{x_2-x_1}f(Q_{22})$
细心的同学也许发现了，这个插值好像与线性插值并不是一模一样的，所以我们用的是 $\approx$ 而非 $=$ ，这里其实采用的是一种加权平均算法结合两点来计算其中一点的 $y$ 值，主要是根据计算点距离两个端点在x方向上的距离来计算计算点y值所占的比例。
接下来，我们再利用已经计算出来的 $R_1$ 和 $R_2$ 来 $P$ 点的插值，可得

\begin{aligned} f (P) & \approx \frac{y_{2} - y}{y_{2} - y_{1}} f (R_{1}) + \frac{y - y_{1}}{y_{2} - y_{1}} f (R_{2}) \\ = \frac{y_{2} - y}{y_{2} - y_{1}} (\frac{x_{2} - x}{x_{2} - x_{1}} f (Q_{11}) + \frac{x - x_{1}}{x_{2} - x_{1}} f (Q_{21})) \\ + \frac{y - y_{1}}{y_{2} - y_{1}} (\frac{x_{2} - x}{x_{2} - x_{1}} f (Q_{12}) + \frac{x - x_{1}}{x_{2} - x_{1}} f (Q_{22})) \\ = \frac{1}{(x_{2} - x_{1}) (y_{2} - y_{1})} (f (Q_{11}) (x_{2} - x) (y_{2} - y) \\ + f (Q_{21}) (x - x_{1}) (y_{2} - y) + f (Q_{12}) (x_{2} - x) (y - y_{1}) \\ + f (Q_{22}) (x - x_{1}) (y - y_{1})) \\ = \frac{1}{(x_{2} - x_{1}) (y_{2} - y_{1})} [x_{2} - x x - x_{1}] [\begin{matrix} f (Q_{11}) & f (Q_{12}) \\ f (Q_{21}) & f (Q_{22}) \end{matrix}] [\begin{matrix} y_{2} - y \\ y - y_{1} \end{matrix}] \end{aligned}

$\begin{aligned} f(P)&\approx\frac{y_2-y}{y_2-y_1}f(R_1)+\frac{y-y_1}{y_2-y_1}f(R_2)\\ &=\frac{y_2-y}{y_2-y_1}(\frac{x_2-x}{x_2-x_1}f(Q_{11})+\frac{x-x_1}{x_2-x_1}f(Q_{21}))\\&\quad+\frac{y-y_1}{y_2-y_1}(\frac{x_2-x}{x_2-x_1}f(Q_{12})+\frac{x-x_1}{x_2-x_1}f(Q_{22}))\\&=\frac{1}{(x_2-x_1)(y_2-y_1)}(f(Q_{11})(x_2-x)(y_2-y)\\&\quad+f(Q_{21})(x-x_1)(y_2-y)+f(Q_{12})(x_2-x)(y-y_1)\\&\quad+f(Q_{22})(x-x_1)(y-y_1))\\&=\frac{1}{(x_2-x_1)(y_2-y_1)}[x_2-x \quad x-x_1] \left[ \begin{matrix} f(Q_{11}) & f(Q_{12})\\ f(Q_{21}) & f(Q_{22})\\ \end{matrix} \right] \left[ \begin{matrix} y_2-y\\ y-y_1\\ \end{matrix} \right] \end{aligned}$

f (P) \approx \frac{y _{2} - y}{y _{2} - y _{1}} f (R_{1}) + \frac{y - y _{1}}{y _{2} - y _{1}} f (R_{2}) = \frac{y _{2} - y}{y _{2} - y _{1}} (\frac{x _{2} - x}{x _{2} - x _{1}} f (Q_{11}) + \frac{x - x _{1}}{x _{2} - x _{1}} f (Q_{21})) + \frac{y - y _{1}}{y _{2} - y _{1}} (\frac{x _{2} - x}{x _{2} - x _{1}} f (Q_{12}) + \frac{x - x _{1}}{x _{2} - x _{1}} f (Q_{22})) = \frac{1}{( x _{2} - x _{1} ) ( y _{2} - y _{1} )} (f (Q_{11}) (x_{2} - x) (y_{2} - y) + f (Q_{21}) (x - x_{1}) (y_{2} - y) + f (Q_{12}) (x_{2} - x) (y - y_{1}) + f (Q_{22}) (x - x_{1}) (y - y_{1})) = \frac{1}{( x _{2} - x _{1} ) ( y _{2} - y _{1} )} [x_{2} - x x - x_{1}] [f (Q_{11}) f (Q_{21}) f (Q_{12}) f (Q_{22})] [y_{2} - y y - y_{1}]

仔细观察上面的公式不难发现，其实

P

点的值等于周围四个点与P点所构成的四个对角矩形面积的加权平均
在这里插入图片描述

双三次插值(Bicubic interpolation)

双三次插值是一种更加复杂的插值算法，是二维空间中最常用的插值算法，相对双线性插值的图像边缘更加平滑，函数 $f$ 在点 $(x, y)$ 的值可以通过矩形网格中最近的十六个采样点的加权平均得到，这里需要使用两个多项式插值三次函数，每个方向使用一个。
双三次插值通过以下公式进行计算：
$\sum_{i=0}^{3}\sum_{j=0}^{3}a_{ij}x^{i}y^{j}$
计算系数 $a_{ij}$ 的过程依赖于插值数据的特性。如果已知插值函数的导数，常用的方法就是使用四个顶点的高度以及每个顶点的三个导数。一阶导数 $h^{'} x$ 与 $h^{'} y$ 表示 $x$ 与 $y$ 方向的表面斜率，二阶相互导数 $h^{''} x y$ 表示同时在 $x$ 与 $y$ 方向的斜率。这些值可以通过分别对 $x$ 与 $y$ 向量取微分得到。对于网格单元的每个顶点，将局部坐标 $(0, 0) 、 (1, 0) 、 (0, 1) 、 (1, 1)$ 代入这些方程，再解这16个方程。
看了上面这段话之后，貌似还是不太好理解，接下来我们看一个例子，双三次插值常用的BiCubic函数如下图
在这里插入图片描述
上式中的 $a$ 取-0.5即可，函数图像如下

对待插值的像素点 $(x, y)$ ( $x, y$ 可为浮点数)，取其附近的4×4领域点 $x_i,y_i)$ 其中 $i, j = 0, 1, 2, 3$ 。按下面的公式进行插值计算：

例如，我们需要求解 $P$ 点值，在 $P$ 点周围有16个点
在这里插入图片描述
首先，我们要求出当前像素与 $P$ 点的距离，比如 $a_{00}$ 距离 $P (x + u, y + v)$ 的距离为 $(1 + u, 1 + v)$ ，那么我们可以得到 $a_{00}$ 对应的系数为 $(W (1 + u), W (1 + v))$ ，所以 $a_{11}$ 的系数为 $(W (u), W (v))$ ， $a_{22}$ 的系数为 $(W (1 - u), W (1 - v))$ ， $a_{33}$ 的系数为 $W (2 - u), W (2 - v)$ ，同理可以得到剩下点的系数，再根据上面的函数就可以求出 $P$ 点的值。
关于双三次插值函数更加详细介绍可以参考：
Cubic Convolution Interpolation for Digital Image Processing

区域插值(Area interpolation)

区域插值算法主要分两种情况，缩小图像和放大图像的工作原理并不相同。

缩小图像
如果图像缩小的比例是整数倍，在调用INTER_LINEAR_EXACT插值算法时，如果图像的宽和高的缩小比例都是2，而且图像的通道数不是2，实际上会调用INTER_AREA。在调用INTER_LINEAR时，如果图像的宽和高的缩小比例都是2，实际上是会调用INTER_AREA。
INTER_AREA实际上是个box filter，类似于均值滤波器。
放大图像
如果放大图像的比例是整数倍，与最近邻插值相似。如果放大的比例不是整数倍，则会采用线性插值。

Lanczos插值

Lanczos插值属于一种模板算法，需要通过计算模板中的权重信息来计算 $x$ 对应的值。
对于一维信息，假如我们输入的点集为 $X$ ，那么，Lanczos对应有个窗口模板Window，窗口中每个位置的权重计算如下：
在这里插入图片描述

通常a取2或者3，当a=2时，该算法适应于图像缩小的插值。当a=3时，算法适用于图像放大的插值。根据计算出来的权重信息，然后再根据 $x$ 即可求出对应的加权平均：