Sparse and noisy LiDAR completion with RGB guidance and uncertainty

论文代码

        通过RGB引导和不确定度来完善稀疏和噪声LiDAR图像，因为我不是本方向，只是在看一些不确定方法，因此对于一些理解可能不到位。

        深度修复的目的是从稀疏和不规则的点云中产生密集深度预测。①：本文提出一个框架通过提取全局和局部信息去产生深度图。②：我们提出一个RGB引导的融合办法以此来利用物体信息，并且修正稀疏的输入。③：同时作者也使用了置信度掩膜，为了去考虑深度预测的不确定性。

        文章的贡献：①：结合全局和局部的信息去完善和矫正稀疏输入。RGB作为引导。②：置信度图通过两个分支以一种无监督的方法学习到的，最终的预测图通过各自的置信度图来进行权重的调整。③：效果在kitti很好。

        相关工作跳过，非本领域。

如何引导：        

        作者发现单独的使用系数深度图是一个困难的工作，所以使用rgb作为引导，语义分割也是类似，使用深度图像作为rgb的补充。

如何融合：

        早期融合，后期融合，多层融合。作者结合 早期融合和后期融合。框架如下：

         我们的方法需要groundtruth进行监督去训练cnn，将丢失的LiDAR输入值编码为0，target是半稀疏的，使用稀疏的输入和半稀疏的GT，卷积神经网络使用全局引导信息矫正伪影和上采样输入。

提取全局和局部信息：

        全局分支可以看做一种先验，调整局部分支提取的特征，全局信息帮助局部网络发现伪影，正确的重建输入。全局网络可以检测物体，能够检测具有相同深度信息的结构。物体的边界因为彩色信息可以简单的提取出来。

        局部分支检测输入的lidar框架，并且进行局部上采样，，为了去完善lidar数据，我们将lidar数据和全局引导信息融合，原因是局部网络可以进一步关注正确的lidar点。全局网络可以关注框架中的物体，边界，和更大的结构。最终使用了一个残差连接，为了提升预测。

使用不确定度：

        两个网络框架都产生一个置信度图置信度图就像是一个权重图，权重通过无监督学习应用于·每一个像素。网络在局部信息之上学习到全局信息，局部网络将会产生置信度更高的深度预测，当lidar数据不正确或者确实，全局信息将会应用到。

网络框架：

        全局网络采用ERFNet，局部网络采用堆叠的沙漏网络，沙漏网络包含两个沙漏模块，每一个包含六层，通过卷积下采样两倍。在第一个卷积层中不使用BN，因为输入稀疏度不连续。沙漏模型如下所示：

                  全局引导图和稀疏lidar图融合是为了探索全局信息，局部信息提供三个输出，全局信息的引导图，深度图，置信度图。局部网络提供深度图和置信度图。通过置信度图和深度图相乘和两个网络的预测图相加，产生最终的预测图。置信图的概率值通过softmax计算。最终的置信度图X和Y, 通过下面公式计算：

   

 实验：

 如何训练：首先两个网络框架分开训练，接着添加对局部网络的引导，最后融合两个框架的输出。

损失函数：focal-MSE loss

公式：通过损失来衡量最终输出深度图的正确性。

 结果：local+global+uncerity+guide skip效果最好。

 可视化：