赞
踩
高斯泼溅是一种用于表示 3D 场景和渲染新颖视图的方法,在“实时辐射场渲染的 3D 高斯泼溅”中引入。它可以被认为是 NeRF² 类模型的替代品,就像当年的 NeRF 一样,高斯分布导致了许多新的研究工作,这些工作选择将其用作各种用例的 3D 世界的底层表示。那么它有什么特别之处以及为什么它比 NeRF 更好呢?或者甚至是这样?让我们来看看吧!
首先也是最重要的,这项工作的主要特点是渲染速度快,这一点从标题中就可以理解。这是由于下面将介绍的表示本身,以及使用自定义 CUDA 内核定制的渲染算法的实现。
图 1:之前的高质量表示和高斯泼溅(标记为“我们的”)在渲染速度 (fps)、训练时间(分钟)和视觉质量(峰值信号到噪声比,越高越好)[来源:摘自[1]]
此外,高斯泼溅根本不涉及任何中性网络。甚至没有一个小的 MLP,没有任何“神经”,场景本质上只是空间中的一组点。这本身就已经很引人注目了。看到这种方法在我们痴迷于人工智能的世界中越来越受欢迎,研究公司追逐由越来越多的数十亿个参数组成的模型,真是令人耳目一新。它的想法源于“Surface splatting”(2001),因此它树立了一个很酷的例子,经典的计算机视觉方法仍然可以激发相关的解决方案。其简单而明确的表示使得高斯泼溅特别易于解释,这是在某些应用中选择它而不是 NeRF 的一个很好的理由。
如前所述,在高斯喷射中,3D 世界由一组 3D 点表示,实际上有数百万个,大约为 0.5-50 万个。每个点都是一个 3D 高斯分布,具有自己独特的参数,这些参数适合每个场景,以便该场景的渲染与已知的数据集图像紧密匹配。优化和渲染过程将在稍后讨论,因此让我们暂时关注必要的参数。
图 2:高斯中心(平均值)[来源:取自 Dynamic 3D Gaussians⁴]
每个 3D 高斯均通过以下参数化:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。