[读论文]CVPR2019: Occupancy Networks: Learning 3D Reconstruction in Function Space

作者：小蓝xlanll | 2024-06-12 00:48:39

踩

occupancy networks: learning 3d reconstruction in function space

核心思想

本文提出了一种3D图形的表示方法，并给出了得到他的网络架构和训练方法。
用decision boundary 来表示物体的表面。
这个方法贼好，放在2D类比，就像像素图和矢量图，矢量图是精度是无限的，但又不会耗费额外的内存。

（对啊，早该想到啊，怎么会2019年才出来。。。既然2D可以有矢量图，3D就不能吗）
在这里插入图片描述
具体一点，一个物体用一个occupancy function 来表示：

注意，是实数空间，不是离散的按一定分辨率取样的。
然后用一个神经网络来逼近这个函数，给每个实空间的3D点一个0-1之间的占用概率（因此和二分类模型等价）。神经网络f输入是一个点和一个几何体的表示（X），输出是一个0-1之间的实数，表示这个点在这个几何体里的概率。

在这里插入图片描述

这不就完事儿了，直接拿数据训练一下呀，就是一个普通的二分类网络。

对不同输入类型的数据，用不同encoder来输入。
单个图像：ResNet
体素：3D CNN
点云：PointNet等

涉及到的底层模块

Marching box算法，生成mesh用的
Fast-Quadric-Mesh-Simplification algorithm：简化mesh用的。似乎不是一个通用方法，而是github上一个挺好的算法。https://github.com/sp4cerat/Fast-Quadric-Mesh-Simplification

网络结构

在这里插入图片描述

训练

需要采样进行训练。
每个minibatch采样k个点。
论文4.6比较了不同的采样方式，发现在boundingbox内均匀采样，并加一个小的padding，效果最好。
损失函数就是交叉熵函数。

mesh提取

网络训练好后，如何得到mesh呢？
论文提出 Multiresolution IsoSurface Extraction (MISE), 多分辨率表面提取算法。输入训练好的occupancy network，输出mesh。

在这里插入图片描述

方法描述：

把要判断的范围按一个粗粒度的初始分辨率分成grid。每个grid有一些角点（三维的话相当于一个cube，有8个顶点）
所有这些角点，用训练好的网络计算出occupancy value (0-1之间的实数).
网络超参数 $\tau$ ，物体厚度。大于等于 $\tau$ 的为occupied，否则为un occupied. （可以认为边界点的occupancy value 为 $\tau$ 。）
如果一个grid，他有的角点是occupied，有的是unoccupied，那他就是active的grid，后面要继续考察。（淡红色的那些grid）
把所有active的grid再次细分，（对半分，最后一共八个）。重复以上步骤，直到满足目标分辨率。
用marching cubes 算法来得到mesh。(线性插值认为一个grid的一条边中，和等值面的交点由顶点值做线性插值计算。（等值面是occupancy value为 $\tau$ 的面）
用一阶和二阶梯度来优化一下得到的mesh。

marching cubes的一张图示：来自视频
这个视频6分钟，原理只在前半部分三分钟左右，一看就懂，清楚明白
（一个cube8个点，每个点可能在或不在，所以一共2^8, but thankfullly, 只有14种，其余的都是对称）
marchingCubes 在这里插入图片描述

一些细节：

初始分辨率需要足够高。一个极端例子是grid太大，整个物体都包进去了。这样grid角点全都是not occupied, 检测出来的物体就没有mesh了。实际发现大约32^3 差不多了。
refine的具体细节
- 第一步：用 Fast-Quadric-Mesh-Simplification algorithm 简化模型。
- 第二步：用一二阶梯度优化。
  - 每个面随机采样得到点pk, minimize the loss:
  - （这里没看懂）

实验

概述

三方面实验

先检验复杂3D模型用occupancy net的表达能力。也就是将ground truth转换为occupancy net的形式。看二者的精度差别和存储空间差别。主要是和基于体素的方法对比。（废话，那肯定好啊）
再针对single image, noisy point clouds, low resolution voxel representations 分别实验
最后验证生成能力。

baseline方法：

	single image	point cloud
voxel based	3D-R2N2	3D-R2N2
point based	PointSet Generating Networks(PSGN)	PSGN
mesh based	Pixel2Mesh & AtlasNet	Deep Marching Cubes (DMC)

Dataset: ShapeNet

评价指标（Metrics）：

IoU：模型的交并比。越高越好。（只有watertight mesh 能用）
Chamfer-L1 distance：越小越好。（全部可用）
accuracy和completeness的平均。
accuracy是预测mesh上的点到groud truth上的点最近的距离。（两者各随机采样100k个点，取均值）
completeness是反过来，ground truth上面的点，到最近的output mesh上的点的距离。
用KD tree求距离。
normal consistency score：还没看懂（点云不可用）
（一个mesh的法线）和（另一个mesh中，他的最近邻居的发现）的绝对点集。（取均值）