Stability AI开源上新，单图生成无死角3D视频、模型权重开放！

作者：Cpp五条 | 2024-05-04 19:20:24

踩

大家好，我是程序员晓晓

最近Stability AI又又又上新了~

Stability AI 在推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后，近日，在社区为大家带来了 3D 视频生成大模型——Stable Video 3D（以下简称SV3D）。

论文地址： https://stability.ai/s/SV3D_report.pdf

介绍地址： https://stability.ai/news/introducing-stable-video-3d

Hugging Face地址： https://huggingface.co/stabilityai/sv3d

SV3D基于 Stable Video Diffusion 打造，能够显著提升 3D 生成的质量和多视角一致性，效果要优于之前 Stability AI 推出的 Stable Zero123 以及丰田研究院和哥伦比亚大学联合开源的 Zero123-XL。

目前Stable Video 3D 既支持商用，也支持非商用。商用需要加入 Stability AI 会员，而非商用用户可在 Hugging Face 上下载模型权重即可（链接见上面地址）。

SV3D可只用一张图片就能生成高质量3D网格。

Stability AI本次推出了SV3D两个版本SV3D_u与SV3D_p：

SV3D_u版本基于单张图像生成轨道视频。

SV3D_p版本，扩展了SV3D_u的功能，可以根据指定的相机路径创建3D模型视频。

该模型与之前发布的稳定版 Zero123相比，质量和多视图显着提高，并且性能优于Zero123-XL等其他开源替代品。

为此，Stability AI 设计了掩码分数蒸馏采样损失，进一步增强了预测视图中未见过区域的 3D 质量。同时为了减轻烘焙照明问题，SV3D采用了与 3D 形状和纹理共同优化的解耦照明模型。

使用SV3D 模型及其输出时，通过 3D 优化改进后的 3D 网格生成示例如下图：

使用SV3D生成的 3D 网格结果与 EscherNet、Stable Zero123 的生成结果比较如下图：

SV3D架构细节：

它基于 Stable Video Diffusion 架构构建而成，包含一个具有多个层的 UNet，其中每一层又包含一个带有 Conv3D 层的残差块序列，以及两个带有注意力层（空间和时间）的 transformer 块。

此外，Stability AI 设计了静态轨道和动态轨道来研究相机姿势调整的影响，如下图所示。

在静态轨道上，相机采用与条件图像相同的仰角，以等距方位角围绕对象旋转。这样做的缺点是基于调整的仰角，可能无法获得关于对象顶部或底部的任何信息。而在动态轨道上，方位角可以不等距，每个视图的仰角也可以不同。

为了构建动态轨道，Stability AI 对静态轨道采样，向方位角添加小的随机噪声，并向其仰角添加不同频率的正弦曲线的随机加权组合。这样做提供了时间平滑性，并确保相机轨迹沿着与条件图像相同的方位角和仰角循环结束。

实验结果

Stability AI 在未见过的 GSO 和 OmniObject3D 数据集上，评估了静态和动态轨道上的SV3D合成多视图效果。结果如下。

SV3D 与其他模型在静态轨道的结果，表明了即使是无姿势调整的模型 SV3D_u，也比所有先前的方法表现得更好。

消融分析结果表明，SV3D_c 和 SV3D_p 在静态轨道的生成方面优于 SV3D_u，尽管后者专门在静态轨道上进行了训练。

下表分别展示了动态轨道的生成结果，包括姿势调整模型 SV3D_c 和 SV3D_p，后者在所有指标上实现了 SOTA。

下图中的视觉比较结果进一步表明，与以往工作相比，SV3D 生成的图像细节更强、更忠实于条件图像、多视角更加一致。

好了今天的分享就到这里了~

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述