[论文笔记] Open-Sora 1、sora复现方案概览 (旧repo)

作者：AllinToyou | 2024-04-07 06:30:11

踩

https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Data.md

GitHub - hpcaitech/Open-Sora: Unofficial implementation of OpenAI's Sora

目前两个开源的复现sora的git，其中colossal用的是STDiT架构，北大用的是VideoGPT(vqvae+gpt)。

Open-Sora已涵盖：

提供完整的Sora复现架构方案，包含从数据处理到训练推理全流程。

支持动态分辨率，训练时可直接训练任意分辨率的视频，无需进行缩放。

支持多种模型结构。由于Sora实际模型结构未知，我们实现了adaLN-zero、cross attention、in-context conditioning(token concat)等三种常见的多模态模型结构。

支持多种视频压缩方法。用户可自行选择使用原始视频、VQVAE（视频原生的模型）、SD-

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/376981