ICLR 2024 | 单图3D重建数字虚拟人！浙大&字节开源Real3D-Portrait算法

CVer祝大家龙年快乐！重磅福利！CVer学术星球春节优惠券来了！为了感谢大家的支持，现在赠送10张50元新用户优惠券(下图左边二维码)，10张20元老用户续费券(下图右边二维码)，龙年坚持分享更多更好的工作，寒假不停更！助力你的科研和工作！顺利毕业升学，升职加薪！

转载自：机器之心

近期虚拟人方面的应用如同雨后春笋一般涌现出来。你是否在很多 App 中，看到了 AIGC 让单张照片开口说话的能力？尽管已经能够拥有清晰的画质和准确的口型，但现有的单图驱动虚拟人似乎还差了一点：呈现的结果中说话人往往采用和原图中说话人接近的头部姿态，无法像真人一样在画面中自由地运动。这是因为目前采用的技术无法对图片中说话人在 3D 世界中进行建模，因此在大姿态驱动的情况下会出现效果急剧下降的问题。

单图 3D 说话人视频合成 (One-shot 3D Talking Face Generation) 可以被视作解决这一难题的下一代虚拟人技术。它旨在从单张图片中重建出目标人的三维化身 (3D Avatar)，随后根据一段输入的语音或动作表征来控制三维化身，进而合成支持大姿态驱动的真实说话人视频。然而，要实现这个目标，学界面临两个主要挑战：（1）无法实现准确的三维化身重建以及稳定的动态人脸控制；（2）现有工作主要关注人脸部分的合成，但忽视了如何生成自然的躯干和背景部分。

为实现高质量、逼真的单图 3D 说话人视频合成，浙江大学与字节跳动提出了 Real3D-Portrait 算法，被人工智能顶级会议 ICLR 2024 录用为 Spotlight。目前已开放源代码和预训练权重。

• 论文标题：Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis

• 论文链接：https://arxiv.org/pdf/2401.08503.pdf

• 项目主页：https://real3dportrait.github.io/

• 代码链接：https://github.com/yerfor/Real3DPortrait

话不多说直接看效果，仅需输入单张照片也可以得到如真人一般自由运动的虚拟人视频。

模型内在技术原理

深悉 Real3D-Portrait 模型的内在原理，还要回到开头提到的两个问题：（1）如何准确地为输入图片中的人物进行三维化身重建和稳定地动态人脸控制；（2）如何合理地建模自然的躯干运动和背景画面。

对于第一个问题，团队从网络结构和训练流程两个角度进行了创新。在网络结构层面，设计了一个 Image-to-Plane 模型和一个 Motion Adapter 模型。具体来说，Image-to-Plane 模型的任务是在网络推理的过程中完成目标人物的三维重建，将输入图像转换为 Tri-plane（一种通用的 3D 表征）；而 Motion Adapter 的任务是预测完成目标表情所需要对三维化身所做的最小几何修改，以达到控制 3D avatar 表情的目的。由于这两个模块承担了大量跨坐标系变换的工作（比如将图片中的人物映射到本征的三维空间），研究者大量使用了视觉 Transformer 结构。在训练流程层面，为了保证三维化身重建的精确度和鲁棒性，研究团队设计了预训练和微调两阶段流程。

「我们发现 3D 人脸生成模型可以生成海量的高质量、多视角静态人脸数据，于是首先让模型从其中蒸馏学习三维化身重建的几何知识，随后再在视频数据集上微调学习控制其面部表情」，研究团队表示。

图 1. 利用 3D 人脸生成模型对 Image-to-Plane 模型进行预训练以学习三维重建知识

图 2. 在视频数据集上对模型进行微调以学习控制三维化身的表情

在完成动态 3D 人脸建模后，团队提出了 Head-Torso-Background Super-Resolution （HTB-SR）Model， 以完成对躯干部分和背景画面的合理建模，并最终生成 512x512 分辨率的高清图像。HTB-SR 模型的设计采取了分而治之的思想，即针对不同部分的运动特性，采用不同的技术进行建模，并最终通过 alpha-blending 技术将各个部分融合成为完整的图像。具体来说，说话人的头部往往存在偏转、横滚等需要三维空间感知的运动，因此使用前文所述的 Image-to-Plane 模型对其进行建模。与头部的复杂运动相比，躯干部位的运动基本可以用简单的二维画面内的平移、拉伸实现，因此使用目前单图驱动虚拟人领域常用的图像扭曲场（Warping Field）对躯干部分进行建模。

此外，为了保证输出的说话人图像能够和背景无缝地贴合，团队额外设计了一个基于简单卷积网络的 Background Branch 对输入图像的背景部分进行建模。为了支持语音驱动的虚拟人合成任务，团队还基于 GeneFace 的语音驱动模块设计了适用于任意说话人的通用语音转动作（Audio-to-Motion）生成模型。最终，Real3D-Portrait 模型的推理框架图如下图所示，仅需单张图片，即可实现逼真的说话人视频合成，同时支持语音和视频作为驱动条件。

图 3. Real3D-Portrait 模型的整体推理流程

模型的应用前景

总体来看，Real3D-Portrait 模型首次实现了利用先进的单图三维重建技术支持大幅度姿态运动的单图驱动虚拟人视频合成。可以预见的是，随着技术的不断迭代、普及，在智能助手、虚拟现实、视频会议等多个应用场景中都将会出现虚拟人的身影。而借助 Real3D-Portrait，单图驱动的虚拟人算法有望使说话人在 2D/3D 的画面中更真实地「动起来」。

从技术的角度看，随着以 Vision Pro 为代表的空间计算平台的兴起，能够合成三维化身的虚拟人算法或将成为大势所趋，而 Real3D-Portrait 模型则为后续基于三维化身的单图驱动虚拟人算法研究提供了参考。但现阶段 Real3D-Portrait 也并不是完美无缺的，可能是由于数据量较小和样本质量问题，对于在输入图像中被遮挡的区域（如牙齿、侧脸等），模型有时难以产生清晰准确的结果。

总而言之，过去几年，随着单图驱动虚拟人技术的不断进步，口型精度、图像质量已然不断提高；而 Real3D-Portrait 模型的提出，进一步解锁了单图驱动虚拟人的运动自由度，其重建三维化身的特性也赋予了其应用在空间视觉产品的可能性。让我们一同期待虚拟人技术的加速发展，用户也将获得更加极致的视觉体验和生活便利。

CVer祝大家龙年快乐！重磅福利！CVer学术星球春节优惠券来了！为了感谢大家的支持，现在赠送10张50元新用户优惠券(左图领取)，10张20元老用户续费券(右图领取)，龙年坚持分享更多更好的工作，寒假不停更！助力你的科研和工作！顺利毕业升学，升职加薪！

计算机视觉技术交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-计算机视觉微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
 
▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看