干货！用特征匹配理解神经隐式3D表征

作者：小丑西瓜9 | 2024-02-16 19:11:03

踩

隐式表征

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

神经隐式表征（Neural Implicit Representations）最近在3D形状编码方面取得了令人印象深刻的结果。其中条件化的隐式编码能将单个隐函数推广到各种形状的共享表示的低维隐空间，并具有在隐空间插值（latent space interpolation）上形成光滑的形状变化的优势。然而，全局隐空间的好处并不对应于局部。于是我们建议通过将形状表面局部点的隐式特征（implicit feature）与形状之间插值的隐式编码匹配来跟踪连续点轨迹。从中我们发现了深度隐式表征中每一层（layer）有着层次化的功能，具体而言，靠近输入的layer将隐式编码映射到拟合粗略形状结构，而更深的靠近输出的layer进一步细化形状细节。此外，隐式函数的结构化表示空间能够将特征匹配应用于形状变形，有利于处理拓扑和语义不一致性，例如从扶手椅到没有扶手的椅子，并不依赖任何的人工标注。

本期AI TIME PhD直播间，我们邀请到阿姆斯特丹大学博士生——陈云路，为我们带来报告分享《用特征匹配理解神经隐式3D表征》。

陈云路：

阿姆斯特丹大学在读博士生，师从Efstratios Gavves, Thomas Mensink和Arnold Smeulders，主要研究方向是3D深度学习和计算机视觉。在单目深度估计，RGBD语义分割，点云理解和隐式神经3D表征等方向上，多篇一作论文发表于ECCV，ICML等会议。

背景

在网络中加入一些人为构造的noise，会使得模型做出全然错误的预测。人们在解决这种问题的时候，最好的解决办法之一便是adversarial training,即人们会在训练模型的时候混入一些adversarial example。这样可以让我们训练的model获得较高的robustness。

相比于传统的离散信号表征来说，隐式表征通常使用神经网络去逼近或实现一个连续的信号，其优势是没有分辨率限制，并可以表示任意的3D拓扑结构。另外，文献表明条件化的隐式表征能够从隐空间的插值（latent space interpolation）中生成光滑变化的高质量的物体形状，说明隐式表征的泛化能力更强，如下图所示。

我们认为这样的性质来源于隐式表征依赖连续的坐标输入。然而，由于条件隐式表征的性质，学习到的表示是全局的，不对应于任何显式的局部点。这也导致latent space interpolation形状光滑变化的优势无法应用于显式3D表示（如网格或CAD模型）的形状操纵和变形中。因此，我们需要关注隐式表征latent space interpolation中的局部点的变化，从而加深对方法的理解并拓广可能的应用场景

方法

本文提出了基于特征匹配地方法去理解神经隐式3D表征，我们使用预训练好的隐式表征的网络，这里的网络以IM-Net为基础结构，因为它比DeepSDF和Occupancy Networks更简单，就是没有skip-connection的全连接层，所以方便我们对其进行分析。我们使用原作者预训练的网络权重，并且在我们的工作中不需要任何重新训练或者fine-tuning。我们采用IM-Net的隐式特征作为点的特征，并且在插值时匹配具有特征相似性的点来得到点的轨迹。

有了这个Implicit Function的网络，我们任取source 和 target两个表面形状和它们的latent code，图示中我们使用两条曲线表示这两个shape。

我们对这两个图形进行隐式插值，首先在source形状表面上采样，然后进行特征匹配并使用欧拉法计算点的轨迹，如下图所示。

我们密集采样source表面上的点并重复上述对单一点的操作，从中就得到了从source转换后的接近target的形状。需要注意的是source转换后的形状由于匹配的是隐式特征而不是外观，不一定完全对应于target形状，但是我们发现这样的结果有着semantic的意义，并能够帮助我们显示出各个layer特征的特性。

实验

在定性的实验结果中，我们首先使用不同layer的特征来进行特征匹配，效果如下图所示，靠近输入的layer到中期的layer中只有外观轮廓发生变化，而靠近输出的层更加优化形状细节和变化拓扑结构，从中我们总结神经隐式表征的网络有着层次化的功能，靠近输入的layer将输入映射到拟合粗略的轮廓，而更深的靠近输出的layer进一步细化形状细节。

在t-SNE聚类中，我们发现中间的层更能区分不同来源的对应的点的特征，所以是有着更好的语义（semantic）的意义的点的描述子（详见论文相关章节）。

同时，我们在ShapeNet数据集中我们做了deformation的实验，我们的方法和其他已有的方法都不同，已有的方法都是匹配外观形状（appearance fitting）而我们则是匹配特征（feature matching）。在从扶手椅到没有扶手的椅子进行deformation的定性对比中，我们的方法在很多复杂的情形中是唯一能保持source形状的semantic和topological性质从而形成有意义的deformation的方法。在semantic part层面的量化对比中，特征匹配的方法更具优势。