论文精讲 | 基于昇思MindSpore实现自遮挡感知折射追踪的透明物体三维重建

论文标题

NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing

论文来源

ICCV2023

论文链接

https://openaccess.thecvf.com/content/ICCV2023/papers/Li_NeTONeural_Reconstruction_of_Transparent_Objects_with_Self-Occlusion_Aware_Refraction-Tracing_ICCV_2023_paper.pdf

代码链接

https://github.com/nauyihsnehs/NeTO-MindSpore

昇思MindSpore社区支持顶级会议论文研究，持续构建原创AI成果。本文是昇思MindSpore AI顶会论文系列第37篇，武汉大学计算机学院的肖春霞老师团队发表于ICCV的一篇论文解读，感谢各位专家教授同学的投稿，更多精彩的论文精读文章和开源代码实现请访问Models。

01 研究背景

重建真实世界物体的三维模型一直是一个长期存在的问题。它在计算机视觉和图形学领域已经研究了几十年，促进了许多应用的发展，如增强现实、自动驾驶和机器人。然而，现有的通用多视图重建方法仅适用于近似朗伯表面的不透明物体，很少有人可以处理透明物体，因为穿过透明物体的光路极其复杂，涉及到光线的反射和折射。

目前，一些国家已提出较为先进的方法重建透明物体三维模型，这些方法通过相机光线和背景监视器上位置之间的对应关系或者旋转背景监视器来强制相机光线和折射光线保持一致来进行优化。然而，这些方法采用点云或网格表示透明物体表面，通常需要大量的视图作为输入。在没有足够图像作为输入的情况下，由于不稳定的优化，容易无法重建出真实的几何形状。

此外，如何处理物体的自遮挡部分也是至关重要的问题。广泛使用的折射追踪一致性假设当光线穿过透明对象时，摄影机光线在物体曲面上仅折射两次（进入时和退出时）。但是，当摄影机光线穿过自遮挡部分时，该假设并不总是正确的，在自遮挡部分光线将被曲面折射两次以上。因此，错误地对自遮挡部分强制保持折射追踪一致性将不可避免地在重建优化过程中引入误差。

02 团队介绍

论文第一作者李宗成是武汉大学计算机学院23届硕士毕业生，研究方向为透明物体三维重建、逆渲染等。

论文通讯作者肖春霞现为武汉大学计算机学院教授，入选教育部新世纪人才计划，武汉大学珞珈特聘教授，主要从事计算机图形学、虚拟现实、增强现实、计算机视觉等领域的研究工作。已发表论文160余篇，其中在TOG、TPAMI、IJCV、TVCG等国际权威或重要SCI学术期刊发表论文80余篇，在CVPR、ICCV、ECCV、AAAI等国际顶级学术会议上发表论文30余篇。已授权国家专利34项，授权软件著作权10项。获得2019年湖北省自然科学奖二等奖（第一完成人）、2023年湖北省科技进步奖二等奖（第一完成人）。主持国家自然科学基金6项，教育部新世纪人才计划1项，国家973重点基础研究项目子课题1项，国家863计划重点项目子课题1项，国家重点研发计划项目子课题1项，湖北省重大科技创新计划项目1项。

03 论文简介

本文提出了一种新的方法，称为NeTO，用于重建透明物体的高质量三维几何形状。本文方法使用隐式符号距离函数（SDF）来表示透明物体表面，并通过体渲染与自遮挡感知折射光线追踪技术来优化隐式符号距离函数（SDF）。隐式表示使我们的方法能够在有限的视图数据集上重建出高质量的图像。本文还提出了一个简单有效的策略来检测自遮挡部分，并避免对这些区域施加错误的约束。这种策略基于光路的可逆性定律来确定相机光线是否可逆，即如果使光线的方向反转，不管光线被反射或折射多少次，它将和反转前保持相同的路径。本文假设光线正好折射两次。为了验证本文的方法，在DRT数据集和自制数据集上进行了全视图和稀疏视图实验。大量的实验表明，本文的方法能够实现透明物体的高质量重建，并且优于以前的方法。

下图为透明物体自遮挡展示以及检测自遮挡策略。左图展示了两束光线，rp为无自遮挡光线和re为存在自遮挡光线。rp只经历了两次折射（射入和射出），属于有效光线；re经历了多次折射，表示存在自遮挡现象，会影响重建精度，因此需要舍弃。右图为检测自遮挡策略，rp光线路径上不存在自遮挡，因此rp光线在物体内部路径上点的SDF值都小于0；re光线路径上存在自遮挡，因此re光线在物体内部路径上既有SDF值小于0的点，也有SDF值大于0的点。

图 1. 自遮挡展示以及检测自遮挡策略

本文中，昇思MindSpore的实现基本可以分为两个部分，粗糙重建阶段和细节重建阶段。粗糙重建阶段优化较好的隐式符号距离函数（SDF），重建出透明物体的轮廓，细节重建阶段考虑自遮挡和两次折射，重建出透明物体的细节。两个阶段都是使用昇思MindSpore中的nn和ops算子构建的模型，且使用value_and_grad算子求梯度并进行优化。还使用load_checkpoint和save_checkpoint函数来加载和保存网络权重。总的来说，昇思MindSpore的算子接口调用清晰简洁，功能齐全，而且帮助文档写的较为完整，使用体验不错。

04 实验结果

本文在DRT数据集和自制数据集上进行了全视图和稀疏视图实验。为了评估重建模型的质量，本文计算了重建模型和真实模型之间的量化指标，包括准确性（accuracy），完整性（completeness），精确度（precision），召回率（recall）和F分数（F-score）。实验表明，本文的方法能够实现透明物体的高质量重建，并且优于以前的方法。

表 1. 稀疏视图实验结果

表 2. 全视图实验结果

05 总结与展望

本文提出了一种的透明物体重建方法，采用隐式符号距离函数表示透明物体表面，并利用体渲染技术来增强折射追踪一致性。此外，本文提出了自遮挡检测策略，并使自遮挡物体的重建几何得到了进一步的改善。

昇思MindSpore提供了易用的接口和灵活的构建模块，使得开发者能够快速上手并灵活地构建各种深度学习模型。作为一款开源框架，昇思MindSpore在性能优化方面表现出色，尤其在分布式训练等方面有着显著的优势。此外，昇思MindSpore支持多种硬件平台，为开发者提供了更广泛的选择。随着时间的推移，相信昇思MindSpore的生态系统将会不断壮大，涵盖更多的应用场景和行业，为用户提供更全面的解决方案，并且持续进行技术创新，不断优化性能、提升稳定性，引入更多先进的深度学习技术，以满足不断变化的需求。总的来说，昇思MindSpore作为一款新兴的开源深度学习框架，有着广阔的发展前景，需要社区的共同努力和支持来实现更大的成功。随着更多的开发者加入昇思MindSpore的开源社区，可以预见到会有更多的创新和贡献。

往期回顾

论文精讲 | 基于昇思MindSpore实现图文检索的外部空间注意力聚合

论文精讲 | 基于昇思MindSpore梯度差异最小化的联邦多源领域泛化

论文精讲 | 基于昇思MindSpore多维度公平性联邦学习

论文精讲 | 基于昇思MindSpore具有可解释自适应优化的联邦因果发现