Open-Sora——一种高效制作视频的方式

公众号：【可乐前端】，每天3分钟学习一个优秀的开源项目，分享web面试与实战知识，也有全栈交流学习摸鱼群，期待您的关注!

每天3分钟开源

hi，这里是每天3分钟开源，很高兴又跟大家见面了，今天介绍的开源项目简介如下：

仓库名：hpcaitech/Open-Sora

项目名：Open-Sora

开源地址：https://github.com/hpcaitech/Open-Sora

主要语言： Python

stars数量：12290

forks数量：1089

开源协议：Apache License 2.0

一句话介绍

Open-Sora是一个致力于高效制作高质量视频的开源项目，将模型、工具和内容无障碍地分享给所有人。

详细描述

Open-Sora是一个旨在产出高品质视频的开源项目，不仅使先进的视频生成技术民主化，而且提供了一个简化视频制作复杂性的平台。

此项目以开源原则为基础，通过Open-Sora，我们的目标是在内容创作领域激发创新、创造力和包容性。尽管Open-Sora还处于早期阶段，且仍在积极开发中，但它已经在视频生成领域展现出了巨大的潜力。

具体功能

• 提供全流程的视频数据预处理、加速训练、推理等功能，并且能够在仅3天的训练时间内生成512x512的2秒视频；
• 支持包括加速变压器、更快的T5和VAE，以及序列并行性在内的训练加速；
• 提供数据预处理管道，包括下载、视频切割和字幕工具；
• 从VideoGPT的VQ-VAE中找出低质量的问题，并引入了来自Stability-AI的更好的VAE；
• 探索了包括DiT、Latte和我们提出的STDiT在内的不同架构，其中STDiT在质量和速度之间实现了更好的权衡；
• 支持Clip和T5文本条件处理；
• 项目支持在图像和视频上训练DiT（例如ImageNet & UCF101）；
• 支持使用来自DiT、Latte和PixArt的官方权重进行推理；
• 重构了代码库。

如何使用

首先，创建一个虚拟环境，并安装Pytorch。之后，安装此项目，步骤如下：

# 创建虚拟环境
conda create -n opensora python=3.10
# 激活虚拟环境
conda activate opensora
# 安装torch
pip install torch torchvision
# 安装此项目
git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora
pip install -v .
1
2
3
4
5
6
7
8
9
10

在安装完成后，建议阅读structure.md以了解项目结构以及如何使用配置文件。

此外，我们还在此存储库中提供了一个Gradio应用，您可以使用以下命令启动一个交互式Web应用程序，以体验Open-Sora的视频生成。

python scripts/demo.py
1

这将在您的localhost上启动一个Gradio应用程序。

除此之外，我们还提供了一个离线推理脚本。运行以下命令生成样本，所需的模型权重将自动下载。要更改采样提示，修改传递给--prompt-path的txt文件。要自定义配置，请参阅这里。

# Sample 16x512x512 (20s/sample, 100 time steps, 24 GB memory)
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x512x512.py --ckpt-path OpenSora-v1-HQ-16x512x512.pth --prompt-path ./assets/texts/t2v_samples.txt
1
2

在H800 GPU上测试了速度。对于其他模型的推理，这里有更多的指示。要降低内存使用量，在配置中设置一个更小的vae.micro_batch_size（略微降低采样速度）。

让我们一起走进Open-Sora的世界，体验其带来的无限可能性！

最后

感谢您的阅读，这里每天都会推送优秀的开源项目，如果觉得有帮助的话，一键三连一下吧～