首篇！NeRF-SLAM：基于NeRF的实时稠密单目SLAM

作者 | dianyunPCL  编辑 | 点云PCL

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【SLAM】技术交流群

后台回复【SLAM综述】获取视觉SLAM、激光SLAM、RGBD-SLAM等多篇综述！

摘要

这是一个结合单目稠密SLAM和层次化体素神经辐射场的3D场景重建算法，能实时地用图像序列实现准确的辐射场构建，并且不需要位姿或深度输入。论文的核心思想是，使用一个单目稠密SLAM方法来估计相机位姿和稠密深度图以及它们的不确定度，用上述信息作为监督信号来训练NeRF场景表征。

主要贡献

第一个提出了场景重建结合了单目稠密SLAM和层次化体素神经辐射场的优点，该方法从一系列图像中构建精确的辐射场，而不需要姿态或深度作为输入，并实时运行，在单目方法的数据集上实现了最先进的性能。

主要内容

从左到右，输入RGB图像，估计的深度不确定性，反向投影的深度图到点云中，在通过其不确定性 对深度进行阈值化以进行可视化之后，以及从与输入图像相同的视点呈现的所得神经辐射场，本方案能够在仅给定RGB图像流的情况下实时重建神经辐射场。

算法包含跟踪和建图两个并行的线程，跟踪模块使用单目稠密（dense monocular）SLAM估计稠密深度图（dense depth maps）和相机位姿，同时会输出对深度和位姿的不确定度估计，后端建图使用前端的输出信息作为监督，训练一个辐射场（radiance field），其损失函数是颜色误差和带权重的深度误差，权重值由先前的不确定度得到。

图2显示了流程框架

实验结果

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称