AI 编辑视频！这特效太逆天了！代码开源 SIGGRAPH Asia 2021

点击下方“AI算法与图像处理”，一起进步！
 
重磅干货，第一时间送达

大家好，我是阿潘，今天给大家分享一篇最新的成果《Layered Neural Atlases for Consistent Video Editing》，可以用于视频编辑，从demo来看，可以实现的效果包括删除视频中的物体、可以对视频内的物体进行编辑、风格化迁移等等，效果非常的惊艳。

论文标题：

Layered Neural Atlases for Consistent Video Editing

NeROIC: Neural Object Capture and Rendering from Online Image Collections

论文、代码和主页链接：

https://arxiv.org/abs/2109.11418 

https://github.com/ykasten/layered-neural-atlases

https://layered-neural-atlases.github.io/ 

效果：

上面是一些视频编辑的应用示例。

从上往下分别实现的效果是：

第一行：对冲浪者脚下的水花添加特效

第二行 ：对河面上的鸭子（可能是鸭子吧）添加特效

第三行：对骑车男孩周围的环境施加特效

第四行：对狗做标记

(a) 各种编辑效果直接应用于我们的输出图集（顶部 4）或给定的视频帧（底部）；这些效果包括风格化前景对象 (Blackswan) 或背景 (Bicycle)、转移纹理元素 (Kite-surf、Libby) 或将静止图像转移到移动背景 (Boat)。在所有情况下，编辑都会自动且一致地映射到原始视频帧。有关这些编辑的视频示例，请参阅补充材料。

更多效果：

摘要

我们提出了一种将输入视频分解或“展开”为一组分层 2D 图集的方法，每个图集都提供了视频上对象（或背景）外观的统一表示。对于视频中的每个像素，我们的方法会在每个图集中估计其对应的 2D 坐标，从而为我们提供一致的视频参数化以及相关的 alpha（不透明度）值。重要的是，我们将地图集设计为可解释和语义化的，这有助于在地图集域中轻松直观地进行编辑，而所需的手动工作最少。应用于单个 2D 图集（或输入视频帧）的编辑会自动且一致地映射回原始视频帧，同时保留遮挡、变形和其他复杂的场景效果，例如阴影和反射。我们的方法采用基于坐标的多层感知器 (MLP) 表示，用于映射、图谱和 alpha，它们在每个视频的基础上联合优化，使用视频重建和正则化损失的组合。通过纯粹在 2D 中操作，我们的方法不需要任何关于场景几何或相机姿势的先验 3D 知识，并且可以处理复杂的动态现实世界视频。我们演示了各种视频编辑应用程序，包括纹理映射、视频风格传输、图像到视频纹理传输和分割/标签传播，所有这些都是通过编辑单个 2D 图集图像自动生成的。

整体思路

框架图：

图 2. 我们的两个图集的管道示意图：视频