论文《PatchMatch Filter: Efficient Edge-Aware Filtering Meets Randomized Search for Fast Corresponde》学习

Abstract

(2013CVPR)虽然计算机视觉中的许多任务可以被优雅地形式化为像素标记问题，但一个典型的挑战是不鼓励这样的离散公式往往是由于计算效率。近年来，基于高效边缘感知滤波器的快速成本体积滤波研究为解决离散标记问题提供了一种快速的替代方案，其复杂性与支持的尺寸无关。然而，这些方法仍然需要遍历整个成本卷，这使得解决方案的速度与标签空间大小成线性关系。当标签空间很大时，通常是(亚像素精确的)立体和光流估计的情况，它们的计算复杂度很快变得无法接受。为了快速搜索最近邻，PatchMatch方法可以显著降低复杂度对搜索空间大小的依赖。但其像素级随机搜索和三维代价体积内的碎片化数据访问严重阻碍了有效代价片滤波的应用。本文提出了一种通用的快速多标记问题的计算框架，称为PatchMatch Filter (PMF)。我们第一次探索了有效和高效的策略，将这两种独立开发的基本技术编织在一起。、基于补丁的随机搜索和有效的边缘感知图像滤波。通过将图像分解为紧凑的超像素，我们提出了基于超像素的新搜索策略，对原有的PatchMatch方法进行了改进和推广。以稠密对应场估计为重点，论证了PMF在立体光流中的应用。我们的PMF方法达到了最先进的通信精度，但运行速度比其他竞争方法快得多，通常为大标签空间的情况提供10倍以上的加速。

1. Introduction

许多计算机视觉任务，如立体视觉、光流和密集图像对齐[13]可以优雅地表述为像素标记问题。一般来说，共同的目标是找到一个标记解决方案，既在空间上平滑，又保持不连续，同时匹配观察到的数据/标签成本。为了实现这一目标，通常采用基于马尔可夫随机场(MRF)的能量函数，该函数包含一个数据项和一个双平滑项[18]。然而，当图像分辨率高或标签空间大时，全局能量最小化算法如图割或信念传播变得非常缓慢，这给离散优化框架带来了很大的挑战。最近，边缘感知滤波(EAF)的成本量[17,14]已经成为一个有竞争力的和快速的替代能源为基础的全球方法。这种方法虽然简单，但可以有效地获得高质量的标签结果。然而，尽管它们的运行时独立于过滤器内核大小，基于EAF的方法不能很好地扩展到大的标签空间。

与此同时，最近的PatchMatch方法[4]和改进方法[5,11,9]极大地提高了近似最近邻域(nearest- neighbor field, ANNF)的计算能力。ANNF计算的目标是找出每个图像patch P的像素点P为中心，在另一幅图像的外观上有一个或k个最近的邻居。在能量最小化上下文中，ANNF的唯一目标是搜索一个或k个patch，用给定的查询patch来最小化差异或数据项，但是空间平滑度约束根本没有强制执行。这与神经网络的不一致性映射是一致的，而不一致性映射对图像重建质量至关重要。ANNF方法的复杂度受标签空间大小的影响很小。这对于交互式图像编辑任务[4]是至关重要的。

接下来的一个激励性问题是：这两个独立开发的快速算法，即基于补丁匹配的随机搜索和EAF，能否无缝地结合在一起，非常有效地解决大标签空间的诅咒，同时仍然保持甚至提高解决方案的质量。这是第一次，这篇论文定位于解决这个有趣而又具有挑战性的问题，即对许多视觉任务的普遍适用性。然而，这个目标并不是微不足道的。首先，这两种算法的优化目标函数不同。如图1(c, d)所示，PatchMatch[4]估计出的ANNF是非常“嘈杂”的，并且与期望的真实流图相差甚远。其次，它们的计算和内存访问方式明显不同。事实上，PatchMatch所影响的代价体积内的随机和碎片化的数据访问策略与EAF方法的高度规则和确定性的计算风格是截然相反的。

我们的主要贡献是提出了一个通用的多标记问题的快速计算框架，称为PatchMatch Filter (PMF)。我们将压缩的像素和子图像作为原子数据单元，并对它们进行随机搜索、标签传播和有效的成本聚合。这使得拟议的PMF框架能够从PatchMatch和EAF的互补优势中受益，同时将开销保持在最低限度。PMF的运行时复杂度与聚合内核大小无关，只与搜索范围[4]的对数成正比。进一步提出了基于超像素的高效搜索策略，对原有的PatchMatch方法[4]进行了改进和推广。虽然不局限于对应场估计，但本文对PMF在立体匹配和光流估计中的应用进行了实例化和评价。由于二维运动搜索空间、亚像素精度的位移、超参数化的曲面或运动建模[7]等原因，所考虑的标签空间往往很大。实验表明，我们的PMF方法实现了最先进的对应精度，并且比其他竞争方法具有超过一个数量级的加速优势。

2. Related Work

这里我们回顾一下与我们的方法最相关的工作。
Cost-volume filtering and EAF. 虽然基于MRF的离散化问题的能量最小化公式是优雅的[18]，但即使使用现代的全局优化算法，能量最小化过程仍然是耗时的。利用最近在边缘感知图像滤波技术方面的重大进展，如[19,16,10]，已经提出了几种用于快速成本-体积滤波的方法[17,14]。它们的标识效果通常与全球基于能源的方法相同，但速度要快得多，而且复杂性通常取决于过滤器的大小。然而，单独过滤每个成本片，尽管允许直接应用各种有效的EAF技术，使运行时规模与标签空间大小成线性关系。这使得离散方法在大标签空间的情况下非常慢。

ANNF computation and PatchMatch. 如前所述，由于搜索空间较大，为给定图像中的每个patch计算另一个图像的ANNF在计算上具有挑战性。近年来，在加速这一计算方面取得了重大进展，这是许多视觉和图形任务中使用的非参数patch采样的关键。PatchMatch方法[4,5]受到图像中连贯的自然结构的启发，设计了一种非常有效的随机搜索和最近邻传播方法，在速度和记忆效率方面都比现有技术有了显著的提高。受PatchMatch的启发，一些更快的算法被提出[11,9]，它们以这样或那样的方式允许从外观相似的补丁中高效传播。然而，计算出来的神经网络与真正的视觉对应场在空间上是平滑的、不连续的，其目标是找到最近的邻居。

**PatchMatch-based stereo. ** 为了实现PatchMatch在高效搜索中的强大功能，Bleyer等人提出了一种过度参数化视差的方法，即在每个像素上估计一个单独的3D平面。结果表明，该方法对倾斜曲面的处理效果明显优于以往的方法，达到了亚像素视差的精度。该思想还被集成到一个全局优化框架中，以加快消息传递速度[6]。为了处理视差不连续性，在[7]中使用自适应加权代价集合[21]在35×35个窗口中。虽然PatchMatch可以显著地减少复杂性对标签空间大小的依赖，但这种强力的自适应加权求和具有线性复杂度，它依赖于窗口大小，并显著地降低了整个运行时的速度。此外，更一般和更具挑战性的密集对应问题，如光流，在这些方法中没有得到解决[7,6]。值得注意的是，提出了基于直方图的反奇偶性预滤波方案[15]，将大标签空间带来的复杂性降低到仅对每个像素检测10%的似是而非的差异进行处理。但是这种减少不像PatchMatch那样激进，而且也不支持有效的本地成本聚合。

3. Problem Formulation and Challenges

我们简要介绍了基于成本体积滤波的离散标记问题的一般框架和符号，并重点介绍了可视化对应域的估计。在[17]中，给定一对图像$I和I^{\prime }$，目标是从标签集 l = { 0 , 1 ， … ， L − 1 } l =\{0,1，…，L−1\} l={0,1，…，L−1}中为每个像素$p=(x_p,y_p)$分配一个标签$l。L$表示标签空间大小。对于一般的像素标注问题，指定的标签$l$可以表示不同的局部数量[18]。对于这里考虑的立体和光流问题，$l=(u,v)$其中$u和v$对应于$x和y$方向的位移。立体匹配退化为将视差$d(u=d)$赋值给像素p，其中v = 0。

与基于全局优化的离散方法[18]不同，基于局部窗口的方法强调来自邻域的可靠成本聚合，并对每一个假设标签$l\in L$进行详尽的评估。每个像素p的最终标签$l_p$由赢者通吃(WTA)方案决定。为了获得空间平滑但保留不连续的标记结果，在几种领先的局部方法的局部代价聚合步骤中采用了边缘感知平滑滤波器[17,14]。给定标签为l的原始成本片C(l)，我们将它的边缘感知滤波输出表示为$\widetilde{C(l)}$。然后在像素p处过滤后的代价值为:

虽然EAF是非常有效的，但是对于标签空间大小L的线性复杂度要求像(1)那样对C(L)进行重复的过滤，而C(L)与I的大小相同。当L很大时，这使得运行时慢得不可接受。为了在很大程度上消除这种复杂性依赖，像PatchMatch[4]这样的最新技术在概念上似乎很有帮助。但是可以看出，PatchMatch对每个像素p的随机标签空间访问模式与常规的基于eaf方法的效率至关重要的图像级的代价过滤例程是非常不兼容的。

4. PatchMatch Filter Based on Superpixels

本节提出了一种基于超像素的计算框架，通过拼接式随机搜索和基于eaf的协同成本聚合实现快速对应场估计。我们的主要动机来自于这样的观察:与非常“嘈杂”的神经网络滤波器(ANNF)相比，自然图像的标记解决方案通常在空间上是平滑的，不连续点与图像边缘对齐(参见图1)。空间一致的地面真值标记解决方案的本质实际上提倡对覆盖在同一紧凑超级像素中的相似像素进行协作标记搜索和传播策略，而不必在PatchMatch中进行像素级的精细粒度匹配[4]。

从计算的角度来看，EAF的另一个关键动机是，它的效率本质上来自于在过滤图像或成本片时的高计算冗余或相邻像素之间共享计算重用的巨大机会。然而，PatchMatch会按照光栅扫描顺序，用随机的候选标签集合来处理每个像素。这使得EAF技术不适用，成本聚合运行时与过滤器内核大小$m=(2r+1{)}^2$[7]线性增长。

基于上述分析，我们提出将输入图像分割成不重叠的超像素，并将其作为执行随机搜索、传播和基于子图像的高效成本聚合协作的基本单元。这种基于超像素的方法适应底层图像结构，比基于像素的方法更符合对应域估计的目标。与直接随机像素[4]的传播相比，以超像素为基本元，有效地扩展了传播范围，解决了传播陷入局部最优的问题。更重要的是，基于超级像素的协同处理为计算重用和加速提供了理想的机会。

4.1. Superpixel-Based Image Representation

超像素分解作为许多计算机视觉算法的关键组成部分，一直是人们研究的热点。本文选择最近提出的SLIC超像素算法[3]将输入彩色图像I分解成K个不重叠的超像素或片段，即 S = { S ( k ) ∣ ⋃ k = 1 K S ( k = I ) } S =\{S(k)| \bigcup_{k=1}^{K} S(k=I)\} S={S(k)∣⋃k=1K​S(k=I)}和$\forall k\ne l,S(k)\cap S(l)=null$。与其他基于图形的超像素算法(如[8])相比，SLIC方法在保持图像边界的同时，在像素M的数量上具有更快的运行时线性。另一个重要的优点是SLIC超像素更紧凑，形状和大小更有规则(平均M/K)，在寻找它们的边界盒时开销更低(稍后将讨论这一点)。空间紧凑性还确保来自相同超像素的像素更有可能共享类似的最佳标签。图2(a)为不同参数下生成的SLIC超像素。为了方便后面的演示，我们还定义了两个额外的变量。如图2(b)所示，对于给定的线段$S(k)，B(c_k)$表示其以像素$c_k和B(c_k)\in I$为中心的最小边界框。然后我们使用$R(c_k)$来表示包含$B(c_k)$的子图像，但是它的边界向外扩展了R个像素，同时仍然被限制在I内。

4.2. PatchMatch Filter Algorithm

现在，我们提出了PatchMatch filter (PMF)——一个有效解决离散标记问题的通用计算框架，它利用了基于超级像素的PatchMatch搜索和高效的边缘感知成本过滤。PMF框架非常通用，允许集成各种ANNF和EAF技术。我们将在4.3节中介绍改进的基于超像素的搜索策略。

不像常规的图像网格有一个默认的邻接系统，邻接图(或亲缘图)首先是为一个输入图像在预处理步骤中分解成K个超像素而建立的。这里我们使用一个简单的图构造方案:每个段作为一个图节点，如果两个段的边界有重叠，则在它们之间放置一条边。与PatchMatch[4]类似，然后为每个节点分配一个随机标签。初始化后，我们大致按扫描顺序处理每个超像素S(k)。PMF算法在交叉人工智能中迭代两种搜索策略，即，邻域传播和随机搜索。

首先，对于当前段S(k)，我们将其空间上相邻的邻居集合表示为N(k) = {S(i)}。然后从每个相邻的段中随机采样一个候选像素t∈S(i)，总共有若干个|N(k)|。因此，可以检索到一组当前分配给采样像素集{t}的最佳标签L t = {L t}，这些标签没有考虑超级像素(k)。给定这组传播的标签Lt，然后对S(k)定义的子图像R(ck)执行(1)中基于eaf的代价聚合，但过滤结果仅用于B(ck)中的像素。原因是R(c k) \B(c k)中的像素并没有提供一个可重新启用的全内核过滤所需的所有可能的支持像素，而且它们与S(k)中的像素共享类似标签的机会也比较低。我们在选定的一组标签上表示这种基于子图像的成本过滤过程，其函数f定义如下:

其中$C、\tilde{C}$分别为|R(C k)|和|B(C k)|截面尺寸的原始成本体积和过滤成本体积。对于任意像素p∈B(c k)，当$\tilde{C}(p,l)<\tilde{C}(p,lp)$时，新标签l∈Lt立即更新当前的最佳标签$l_p$。

在前面的传播步骤之后，将对当前段S(k)执行与PatchMatch[4]类似的中心偏置随机搜索。它对在当前最佳标签L周围采样的随机标签Lr序列进行计算，最后显示出逐渐减小的距离。我们两个连续搜索范围之间的固定比率α到1/2 [4]。存在不同的定义l的方法。这里我们随机选取一个参考像素s∈s (k)来促进标签在一个段内的传播。我们设置$l^{\ast }=l_s$，其中ls是当前s的最佳标签。然后再次应用函数f，通过替换式(2)中的Lt来过滤由Lr指定的代价子图像。

为了消除不必要的计算，保存了一个记录每个段S(k)被访问过的标签的列表。因此，如果之前访问过候选标签，则不需要子图像过滤。从图2(b)中还可以看出，我们的PMF算法更倾向于使用紧凑的超像素S(k)，因为R(ck)和B(ck)的拉伸尺寸带来的滤波开销将保持较低。

请注意，现有的立体或光流方法[22,12]通常以段作为匹配单元，并为每个段推断一个正弦位移。为了达到像素级的精度，仍然需要进一步的(连续的)优化以使它们变得更慢。相比之下，我们的PMF方法与其他成本-体积过滤方法[17]一样工作。它独立地估计和决定每个像素的最佳标签，同时利用它们共享的空间邻居和可信的候选标签进行快速计算。

4.3. Superpixel-Induced Efficient Search Strategies

了清晰起见，我们在4.2节中提出了基于基线搜索和支持策略的PMF框架，该框架在概念上接近原始的补丁匹配原则[4]。我们进一步提出了基于超像素图像表示的改进搜索策略(见图3)。与基线补丁匹配方法[4]相比，新策略在寻找和传播可信候选方面更有效。

Enrichment. 首先,我们概括教派的邻接图。4.2添加最多κ新的外观邻居每个节点或段。具体地说,给定一个段(k),我们在一个预定义的搜索窗口顶部 κ 段 N a ( k ) = { S a ( j ) , j = 1 , 2 , … κ } κ段N^a (k) = \{S^a (j), j = 1, 2,…κ\} κ段Na(k)={Sa(j),j=1,2,…κ}最相似(k)。由于不同线段形状任意，大小不均匀，我们使用一个松散的形式来定义线段之间的相似性:


Initialization. 由于超像素图像的表示大大降低了图的复杂度，这促使我们设计一种比随机初始化[4]更好的标签初始化策略。其基本思想是为每个段S(k)分配一个可能好的候选标签，而不是随机的标签。在给定最大标签搜索范围W的情况下，我们选取图像中距离目标图像I’最近的片段S’(j)中的片段S(k)，在稍微增大的范围内。段之间的相似性是评估(3),但由于σ下降到100支持空间近段。

4.4. Complexity

PMF方法的内存复杂度为O(M + K logL)。O(M)用于在每个像素处保存与当前最佳标签相关的过滤成本。比O(M)小得多的O(K logL)记录了每个段S(K)访问过的标签列表。在我们的实现中，我们将输入图像I的所有子图像{R(c k)}预先组织到一个紧凑的2D缓冲区数组中，这有助于在标签搜索过程中进行成本计算和过滤。

5. Applications

我们提出了该框架的两个应用:立体匹配和光流估计。对于EAF技术，我们在本文中使用了引导滤波器(GF)[10]和零阶交叉局部多点滤波器(CLMF-0)[14]，尽管在我们的框架中也可以很容易地使用其他方法。这两种技术的计算时间复杂度都是线性的(1)，只取决于图像大小M，而不取决于滤波器的内核大小M。

5.1. Stereo Matching

提出了两种不同的基于PMF的立体视觉方法，分别对场景视差和相关标签空间进行参数化建模。像大多数的立体方法[17, 14]，第一种方法做了一个前端并行的局部支持窗口的假设，在一个恒定的(在teger)视差中，像素在另一个视图中被匹配。我们称这个方法为PMF-C。与[7]类似，第二种方法尝试在每个像素p处估计一个3D平面Qp，这样位于同一倾斜表面上的像素就可以用于可靠的成本聚合，具有较高的亚像素精度。这种方法称为PMF-S。这两种方法都可以从PMF技术中受益，因为由于高分辨率的立体图像或无限数量的可能的3D平面，视差搜索范围可能非常大。由于PMF-S解决了一个比PMF-C更一般化和更具挑战性的标记问题，所以我们重点介绍PMF-S。

原始匹配代价。 对于PMF-C和PMF-S，我们计算一对假设匹配像素q和q‘’之间的原始匹配代价，方法类似[17,20]:

对于PMF-C，标签l表示视差候选d，而l对应于PMF-S中中心像素p所求平面的三个参数$(a_p、b_p、c_p)$。立体声,∇评估只在(5)方向的梯度。颜色和梯度不同使用指定的参数β相结合。${\gamma }_1和{\gamma }_2$截断阈值。由于$q^{\prime }$在PMF-S中一般采用分式x坐标，所以$q^{\prime }$的颜色和梯度是通过线性插值得到的。

PMF-based成本聚合。 我们使用4.2节描述的PMF算法来执行基于超像素的协同随机搜索、传播和代价子图像滤波。对于PMF-C来说，成本聚合的实现是很简单的，但是对于PMF-S中的随机平面初始化和迭代随机搜索步骤需要更加小心。为此，我们采用了[7]中提出的方法，用一个随机单元法向量$(n_x,n_y,n_z)$和随机采样的连续范围内的随机视差值来代替平面表示。在PMF-S中也使用了视图传播[7]来传播匹配像素的平面参数。

Post-processing. 在使用WTA策略确定初始视差图之后，我们通过左右交叉检查来检测不可靠的视差点。然后用背景视差扩展[17]来填充PMF-C，用平面外推[7]来填充PMF-S。最后，应用加权中值滤波对得到的视差图进行细化。

5.2. Optical Flow

我们现在提出一种基于pmf的光流方法，称为PMF-OF。其主要工作流程与PMF-C相似，但标签l表示x、y方向上的位移矢量(u、v)。因此，光流的标签空间通常比立体匹配处理的典型标签空间大得多。基于一个离散的标记公式，PMF-OF解决了亚像素级的精确流矢量，通过放大标签尺寸，允许沿x和y方向的部分位移。与[17]一样，本文使用了8的上标因子，通过双三次插值得到亚像素点的像素颜色。

给定候选标签$l$，将图像$I$中的像素$q$与第二幅图像$I^{\prime }$中的像素$q^{\prime }=q+(u,v)$匹配。我们使用(5)来测量原始匹配成本$C_q(l)$，但是计算x和y方向上的梯度。然后使用基于pmf的标签搜索和代价过滤算法，包括4.3节中提出的改进策略，以更有效地处理巨大的运动搜索空间。然后，像在[17]中一样执行WTA决策、遮挡处理和后细化，以给出最终的流图。

6. Experimental Results

6.1. Time-Accuracy Trade-off Evaluation of PMF

首先，我们对图4中的PMF方法进行了快速的时间-准确性权衡研究。分别使用来自米德尔伯里光学流/立体数据集[2,1]的两个测试图像对RubberWhale和Reindeer来评价PMF-OF和PMF-S方法(使用CLMF-0)。可以看出，在合理的K设置范围内，经过8-10次迭代，光流或立体结果几乎总是收敛的。这也适用于用GF测试的其他图像，尽管这里没有显示。从图4(a1)可以看出，我们在第4.3节中改进的搜索策略比基线方法收敛速度更快，特别是在前几次迭代中。对于相同的迭代次数，选择更大的K(即更小的超像素尺寸)在光流估计的精度上比立体声获得更好的增益，这是由于本质上更复杂的2D运动。然而，由于邻接图大小的增加和子图像处理开销的增加，每次迭代的运行时间会更长。一般来说，我们发现K = 500在每次迭代的复杂度和目标精度级别的迭代次数之间提供了一个很好的平衡。

6.2. Stereo Matching Results

我们评估了结合CLMF-0和GF滤波技术的PMF-C和PMF-S立体声方法，使用表2中的Middlebury立体声基准[2]。当使用默认的错误阈值1.0时，我们所有的PMF-S和PMF-C方法在超过135种立体声算法中排名很高。他们还实现了视差精度可与甚至优于表现最好的本地立体声meth- ods - PatchMatch立体声[7]和CostFilter[17]。我们还评估了那些专门针对倾斜表面的亚像素精度设计的算法，将中德尔伯里误差阈值设为0.5。表2的上半部分显示了我们使用GF或CLMF-0(对错误阈值1.0使用相同的参数设置)的PMF-S方法比PatchMatch stereo[7]的性能更好。它们也优于或接近最先进的PMBP[6]，而后者使用信念传播进行全局优化。特别是，我们的PMF-S方法在所有米德尔伯里立体声方法中，对于更复杂的Teddy和cone数据集的性能最好，如表3所示。图5显示了我们的PMF-S方法估计出的视差图，该方法在保持深度不连续的同时，生成具有高亚像素精度的空间平滑视差。与前端并行版本相比，即， PMF-C, PMF-S以更高的质量重建了倾斜表面。


我们的PMF-C方法在运行时可与Middlebury数据集上的CostFilter[17]在小视差范围上进行比较，但是对于高分辨率立体图像(例如1M像素到4K电影分辨率)，随着视差范围相应增大，其运行速度比[17]快3-7倍。在不减少迭代次数和关闭平面细化的情况下，我们的pmf方法在PM立体声[7]上实现了一次无时间反馈（例如，20秒对1分钟）。事实上，我们的公平比较表明，速度比[7]快了10倍以上。使用低阶回归模型，CLMF-0为PMF-C和PMF-S算法带来2-3倍于GF的总体加速。

6.3. Optical Flow Results

我们使用Middlebury流量基准[1]评估我们的PMF-OF方法。在接下来的所有测试中，我们都将运动搜索范围固定为$[-40,40{]}^2\times 8^2$（约41万个标签），迭代次数固定为10。表4列出了一些竞争方法的平均等级，这些方法也基于离散优化以及在平均端点误差（AEE）2中测量的最高性能MDP-Flow2 $[20]$。 PMF-OF (w/ GF)和PMF-OF (w/ CLMF-0)的参数虽然简单、自由，但在70多种方法中都具有很强的竞争力。特别地，它们的性能都优于成本过滤器[17] (也参见图1)，尽管针对[17]中的每一个标签都进行了详尽的图像成本过滤。在[15]中，从信息表征的角度观察和解释了标签空间子抽样方法能够提供更好结果的这一事实。此外，使用紧凑的超像素作为原子单位往往有更好的空间正则化比[17]，而不损害精度沿运动不连续。表4显示，PMF-OF方法在三个具有精细细节和强运动不连续性的具有挑战性的场景中表现得相当好。PMF-OF（w/GF）甚至在Teddy的唱片排行榜上名列前茅。在图6中，我们可视化地比较由PMF-OF（w/GF）和其他竞争方法估计的流程图。我们的方法保留了精细的运动细节和强的不连续性，并且在不改变任何参数的情况下处理非刚性大位移流。图7验证了我们的超混合诱导初始化和搜索策略相对于基线方法的强度。


正如表4中所报告的，我们的PMF方法具有显著的运行时优势，并且常常比以前的方法提供一个数量级的加速。在相同的CPU上测试，PMF-OF在城市序列上的运行速度甚至比CostFilter[17]快30倍以上，这是因为它大大降低了对巨大标签空间大小的复杂性依赖。

7. Discussion and Future Work

提出了一种有效求解离散多标记问题的通用PMF框架。我们特别证明了它在估计平滑变化但保持不连续的立体和光学流图方面的有效性。虽然我们在这里关注的是随机搜索范式，但更有效的ANNF计算方法(如[9])可以很容易地插入到PMF框架中。同样，利用高维参数空间的随机搜索能力，利用仿射运动模型对光流进行过参数化。有趣的是，稠密斑匹配[4]被用于最新的光流方法[20]中，以找到多个扩展位移。该方法可以快速生成良好的初始运动场，进一步进行连续优化。探索所提出的PMF算法来有效地处理其他像素标记任务也是一个有趣的未来方向。