探索视频合成新境界：加快加长视频生成，PAB加速与ExVideo延展技术介绍_real-time video generation with pyramid attention

一、摘要

        随着人工智能技术的不断进步，视频合成领域正迎来前所未有的发展机遇。本文介绍近期两项视频生成方向的创新技术：PAB（Pyramid Attention Broadcast）和ExVideo。这两篇文章合在一起主要介绍如何提升视频生成的速度与长度（当前视频生成主要瓶颈方向之一），从而实现更加高效和多样化的视频内容创作。

        1.）加速：PAB技术是一种无需训练的方法，通过减少冗余的注意力计算，显著提高了基于DiT的视频生成模型的实时性。PAB通过在视频扩散变换器中针对不同类型attention layer，应用不同的前序特征值的广播窗口大小来优化计算成本，实现了高达21.6 FPS的帧率和10.6倍的加速，同时保持了视频质量。论文：Real-Time Video Generation with Pyramid Attention Broadcast，暂无。主页：https://oahzxl.github.io/PAB/。代码：https://github.com/NUS-HPC-AI-Lab/OpenDiT。

        2.）加长：ExVideo技术则是一种新颖的后调优策略，专门设计用于增强现有视频生成模型的能力，使其能够生成更长时间的视频内容。ExVideo通过扩展模型的时间模块，包括3D卷积、时间注意力和位置嵌入，成功将Stable Video Diffusion模型的帧生成能力从25帧扩展到128帧，同时仅需要1.5k GPU小时的训练。论文：ExVideo: Extending Video Diffusion Models via
Parameter-Efficient Post-Tuning，https://arxiv.org/pdf/2406.14130。代码：https://github.com/modelscope/DiffSynth-Studio。

二、技术亮点

        PAB和ExVideo的结合为视频生成领域带来了两大创新：加速和延展。PAB通过减少计算步骤来提高速度，而ExVideo通过后调优来增加视频时长。PAB支持Open-Sora、Open-Sora-Plan和Latte，ExVideo支持SVD，这两者为视频合成社区提供了强大的工具。

• PAB的实时视频生成能力：通过智能地广播中间步骤的注意力输出，PAB显著减少了计算量，实现了实时视频生成。下图1是相应attention层在每步diffusion下的数值变化观察实验。基于以上观察到的现象，直观的想法就是特征值不同类型attention下的不同程度广播复用。
• ExVideo的参数高效扩展：通过后调优方法，ExVideo在不牺牲模型泛化能力的前提下，有效扩展了视频生成的长度，基于SVD上做的微创新：

三、实验结果

• PAB在实验中显示出了卓越的性能，能够在保持视频质量的同时实现实时生成，如下是加速比及其相关推理卡数配置：
• ExVideo在Stable Video Diffusion模型上的应用证明了其能够生成具有多样化风格和分辨率的高质量长视频。提升了5倍的SVD视频生成帧数。

四、局限性

        PAB作为一种训练无关的方法，可能需要针对特定模型进行相关数值分析调整以实现最佳性能。ExVideo虽然能够扩展视频长度，但后调优的模型仍然受限于基础模型的固有限制，如人物肖像合成的准确性。PAB和ExVideo的为视频合成落地带来了新的可能性。未来，我们可以期待视频加速和延展两个技术方向能进一步提升，同时也希望能够有更多的开源模型来推动这一领域的研究和发展。