VGM之Sora：Open-Sora的简介、安装和使用方法、案例应用之详细攻略_open sora一键安装

VGM之Sora：Open-Sora的简介、安装和使用方法、案例应用之详细攻略

导读：2024年3月18日，Colossal-AI团队开源了全球首个类Sora架构的视频生成模型Open-Sora 1.0，全面公开，包含完整的训练流程、所有训练细节和模型权重。

>> Open-Sora 1.0采用了Diffusion Transformer结构，在空时注意力上加入了文本编码机制，可以生成根据描述的视频。

>> 该项目采用了三个阶段的训练流程：首先在大量图像数据上预训练，得到初始化权重；然后在大量视频数据上预训练，学习视频时序关系；最后在少量高质量视频数据上微调提升生成质量。每个阶段都会基于前一阶段权重继续训练，实现了从低到高的逐步过渡训练。

>> 该项目提供了数据预处理脚本，可以自动为视频数据生成描述，降低了项目入门难度。

>> 该项目可以在64块GPU上以1万美元的成本实现复现，采用了模型和训练策略优化可以实现更高效训练。

>> 模型结构采用空时注意力机制，训练效率比全Attention高5倍。

>> 该项目当前版本视频生成质量和描述依赖能力还需提升，后续将使用更多数据实现更高质量长时长视频生成。未来将使用更多数据生成更高质量长视频，并在电影、游戏等领域实际应用。

>> 该项目旨在通过开源和持续优化，推动视频合成技术在电影、游戏等领域的发展。

目录

Open-Sora的简介

1、更新

2、新功能

Open-Sora的安装和使用方法

Open-Sora的案例应用

---

Open-Sora的简介

2024年3月18日，Colossal-AI团队重磅发布Open-Sora项目是一项致力于高效制作高质量视频，并使所有人都能使用其模型、工具和内容的计划。 通过采用开源原则，Open-Sora 不仅实现了先进视频生成技术的低成本普及，还提供了一个精简且用户友好的方案，简化了视频制作的复杂性。 通过 Open-Sora，我们希望更多开发者一起探索内容创作领域的创新、创造和包容。

GitHub地址：https://github.com/hpcaitech/Open-Sora

1、更新

[2024.03.18] ��� 我们发布了Open-Sora 1.0，这是一个完全开源的视频生成项目。

Open-Sora 1.0 支持视频数据预处理、 加速训练、推理等全套流程。

我们提供的模型权重只需 3 天的训练就能生成 2 秒的 512x512 视频。

[2024.03.04] Open-Sora：开源Sora复现方案，成本降低46%，序列扩充至近百万

2、新功能

���Open-Sora-v1 已发布。这里提供了模型权重。只需 400K 视频片段和在单卡 H800 上训200天（类比Stable Video Diffusion 的 152M 样本），我们就能生成 2 秒的 512×512 视频。

✅ 从图像扩散模型到视频扩散模型的三阶段训练。我们提供每个阶段的权重。

✅ 支持训练加速，包括Transformer加速、更快的 T5 和 VAE 以及序列并行。在对 64x512x512 视频进行训练时，Open-Sora 可将训练速度提高55%。详细信息请参见训练加速。

✅ 我们提供用于数据预处理的视频切割和字幕工具。有关说明请点击此处，我们的数据收集计划请点击 数据集。

✅ 我们发现来自VideoGPT的 VQ-VAE 质量较低，因此采用了来自Stability-AI 的高质量 VAE。我们还发现使用添加了时间维度的采样会导致生成质量降低。更多讨论，请参阅我们的 报告。

✅ 我们研究了不同的架构，包括 DiT、Latte 和我们提出的 STDiT。我们的STDiT在质量和速度之间实现了更好的权衡。更多讨论，请参阅我们的 报告。

✅ 支持剪辑和 T5 文本调节。

✅ 通过将图像视为单帧视频，我们的项目支持在图像和视频（如 ImageNet 和 UCF101）上训练 DiT。更多说明请参见 指令解析。

✅ 利用DiT、Latte 和 PixArt 的官方权重支持推理。

Open-Sora的安装和使用方法

1、安装环境及其依赖

2、安装项目

3、下载模型权重