51-54 CVPR 2024 | DrivingGaussian：周围动态自动驾驶场景的复合高斯飞溅（ Sora能制作动作大片还需要一段时间 ）

24年3月，北大、谷歌和加州大学共同发布了DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes。视图合成和可控模拟可以生成自动驾驶的极端场景Corner Case，这些安全关键情况有助于以更低成本验证和增强自动驾驶系统安全性。DrivingGaussian采用复合高斯飞溅进行全局渲染，用于表示周围动态自动驾驶场景，在多运动对象、多相机一致性以及高保真度上实现了优秀的性能。

因为要仿真自动驾驶各种场景，最近我们组精读了几十篇文生图、文生视频特别是关于运动控制方面的经典论文，也实践复现了一部分，个人觉得，用AI自编剧制作出一部动作大片还尚需时日。

Abstract

我们提出了DrivingGaussian，一种用于表示周围动态自动驾驶场景的高效框架。对于运动对象复杂场景，我们首先使用增量静态三维高斯函数，对整个静态背景进行顺序渐进建模。然后，我们利用复合动态高斯图来处理多个移动对象，单独重建每个对象并恢复它们在场景中的准确位置和遮挡关系。我们进一步使用激光雷达先验进行高斯溅射，以重建具有更多细节的场景并保持全景一致性。DrivingGaussian在动态驾驶场景重建方面优于现有方法，实现了高保真度和多相机一致性的逼真环视合成。

https: //github.com/VDIGPKU/DrivingGaussian。

1. Introduction

 表示和建模大规模动态场景是3D场景理解的基础，有助于一系列自动驾驶任务，如BEV感知、

• BEVFo