赞
踩
以图像为例,其最常见的表示方式为二维空间上的离散像素点。但是,在真实世界中,我们看到的世界可以认为是连续的。于是,可以考虑使用一个连续函数来表示图像的真实状态,然而我们无从得知这个连续函数的准确形式,因此有人提出用神经网络来逼近这个连续函数,这种表示方法被称为“隐式神经表示“ (Implicit Neural Representation,INR),是一种对各种信号进行参数化的方法。
传统的信号表示通常是离散的,而隐式神经表示将信号参数化为一个连续函数,将信号的域映射到该坐标上的属性的值(例如对于图像,就是将像素坐标映射到R,G,B颜色)。
之前介绍的Deep SDF NerF都是基于隐式神经表示
1、新视角合成
RGB图像的动态场景或者已知相机位姿等参数的一组图像作为输入,创建一个几何和外观的隐式神经表示,通过点坐标和视角方向得到RGB颜色以及体密度,即可推测新视角的图像
2、三维重建
RGB图像作为输入,创建隐式神经网络,输入坐标以及特征向量,输出占有概率,通过设置阈值(水平集)推测得到重建模型的占有域,比如Deep SDF中输出值为零的点集合作为物体表面得到三维模型。
目前网络结构大多使用基于ReLuc的多层感知器MLP(全连接网络)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。