《论文阅读》Unsupervised Learning of Fine Structure Generation for 3D Point Clouds by 2D Projection Matchi

留个笔记自用

Unsupervised Learning of Fine Structure Generation for 3D Point Clouds by 2D Projection Matching

做什么

2D to 3D point clouds由2D图像生成3D点云

顾名思义，任务的目的是使用一张2D图片生成该图片中物体所对应的3D点云集

做了什么

这里的方法是将三维点云学习视为一个2D投影匹配问题。引入结构自适应采样来随机采样轮廓内的2D点，而不是使用整个2D轮廓图像作为规则像素监督，缓解了从不同视角采样的一致性问题。然后使用与2D的GT图像的素差异来训练深度神经网络，使网络得到的点云的2D投影匹配不同视角的不规则点监督，并且这里是一个无监督的方法

怎么做

首先是任务定义，也就是前面说的2D to 3D point clouds generation，这里是一个无监督的做法，输入是一个2D轮廓图像，输出是一个点云集M，P_j∈M，M∈R^j，是没有用到3D点云生成的GT的，也就是不存在任务label
就像前面说的一样，这里通过随机采样第i个轮廓内的K个2D点g_kⁱ，将其视为不规则点监督方式，然后直接将生成的3D点云M投影到轮廓v_i上得到投影点集q_i，将这个投影点集和不规则点集进行匹配，一种常见的自监督训练方式

整体流程就在这个图上展示，目的就是通过NN将2D轮廓input输出一个3D点云集

而训练这个NN的方法就是用自监督方法，首先将2D轮廓进行一个sample得到一个稀疏不规则点集
然后将网络得到的3D点云进行一个投影

将这个投影和不规则点集进行loss计算

接下来解释了这种做法的优点，这里说了很多，比如不需要其他复杂的差值类操作、精细结构中采样点仅由几个像素组成，能更精确的进行匹配等等


然后是具体的实现方法，首先是3D点的投影方法，也就是将生成点云投影到轮廓上，这里采用了一个多视角的方法


这里的q是生成点云的点，p是2D轮廓的点，C是不同的视角角度
然后是网络监督的训练方法
就需要考虑采样的方法，也就是将轮廓采样至不规则点，构造了一个结构自适应的采样方法（SAS）
大致方法是这样的，首先确定一个半径r，以指示k个采样点在轮廓内所覆盖的面积，这个r设置为A/K，这里的K就是k个采样点，A是整个轮廓的面积，计算方法是通过计算mask中值为1的像素数量，然后从（0,0）开始采样，步长为根号r
最后是网络训练的LOSS

这里的q是生成点云的投影点，g是GT的2D轮廓不规则点，简单来说就是最小化这两者的距离，也就是最小化生成点云投影点和不规则点集之间的平均距离，一个匹配方法

总结

1.第一眼感觉比较简单的一种想法，很常见的自监督做法，但效果很好，但文中并没有讲具体的网络实现和一些算法的做法，最后总结的是这种结构能较好的还原点云的3D精细结构