GLU-Net: Global-Local Universal Network for Dense Flow and Correspondences

CVPR2021  Computer Vision Lab, D-ITET, ETH Z ̈ urich, Switzerland

Dense matching

Background

稠密匹配包含了许多任务，目前的方法设计特定的网络完成指定任务，其泛化性存在问题

匹配对估计问题可以被分为几何匹配任务，光流，语义匹配（semantic flow），这些网络架构设计的共同点是计算correlation

DGC-Net计算Global correlation 且输入限制在固定分辨率

Motivation

Idea

使用一个通用网络完成上述任务，local +global correlation

使用自适应分辨率的策略允许任意分辨率的输入

Method

1.global and local correlation：光流的图像位移视角变换小，通常依赖local correlation

Local：通常只计算目标位置周围半径R内的相似度，计算后将其向量化为H×W×（2R+1），可以用于更高分辨率的特征图，但限制了位移的范围

global：计算后将其向量化为H×W×（HW），计算量大，只适用于粗分辨率，后处理2D卷积时需要归档的通道数，因此限制了分辨率

2.global and local 架构

在粗分辨率上global correlation，解决长距离的匹配对，后续使用Local correlation细化

3.adaptive resolution

Global correlation限制了输入的分辨率，因此设计该部分。其中包含了2个子网络运行不同分辨率的图像

1. L-Net：将输入图片下采样的到固定分辨率，用于完成Global correlation,后续的L-net用于完成local,最终结果上采样到H-Net的最粗分辨率用作初始flow
2. H-Net：在原始分辨率上操作，用于细化L-Net网络生成的flow

粗分辨率和地图的估计：correlation解码得到2D稠密匹配图

Displacement field：

后续光流估计，c是local correlation：

光流细化：子网络R，通过增大感受野的size后处理H和L网络的最高层flow，使用倒数第二层的特征解码后的M做欸输入

循环一致性：后处理global correlation的结果，使用soft mutual nearest neighbor

损失：训练时不训练特征提取，与FlowNet的损失一样，使用了endpoint error，即预测光流与真实光流的欧氏距离的均值

Experiment

数据集：对图像进行随机的warp