Pixel-Perfect Structure-from-Motion with Featuremetric Refinement

Pixel-Perfect Structure-from-Motion with Featuremetric Refinement

**背景 **：sfm是假设图片能可靠的提取特征点,所以我们都是在初始提取每张的特征点，之后的重建过程都会依赖于这个初始的特征提取。但其实单帧提取特征由于appearance
changes and discrete image sampling往往是不准确的，特别是现在使用CNN提取特征，由于它一般保留local image information，而是更关注global context，这个问题更加严重。

Image matching：sparse local features匹配容易出错，一旦出错又容易影响位置精度，dense matching是一张图片的所有特征点匹配，匹配更准确，比如在光流跟踪或者立体深度预估都有成功应有，但是由于计算量太大large-scale sfm，现在也有很多工作通过开始粗匹配再用local search匹配来改善匹配，但是这只能在两张图片之间，不能创造sfm要求的point tracks。

方法:

常规的sfm构造：

使用3d点到图片的重投影误差。如果本身点提取就有误差，则这个误差导致匹配时可能ransac就会把匹配剔除，共视关系变得更少，同时这个误差也会带到BA里面去。如果我们有大量的观测，也就是overlap很大，这个误差不会有很大的影响，一旦overlap较小，这个误差就会带来较大的影响。
作者提出，使用一个CNN网络去提取每张图片的feature map

和原始图片长宽相同，即给每个像素赋一个特征。

Keypoint adjustment

在每一个跟踪里面我们先假设匹配是正确的，然后构建上面的costfunction，注意w_uv是它本身的描述子相乘得到的，不是feature map.

通过调整就可以得到比较正确的特征点位置。

Bundle adjustment

用featuremetric代替重投影误差来求解BA，注意f_j的含义，u是每个Fi的平均值，f_j是Fi中距离u最近的。

实验结果