赞
踩
Colossal-AI 开源了完整的 Sora 复现架构方案 Open-Sora,声称可降低 46% 复现成本,并将模型训练输入序列长度扩充至 819K patches。
演示站点: https://ai.uaai.cn UAAI
官方论坛: www.jingyuai.com京娱AI
在 Sora 的技术报告中,Sora 使用了一个视频压缩网络将各种尺寸的视频压缩成一个隐空间 (latent space) 的时空块序列 (a sequence of patial temporal patch),然后使用了 Diffusion Transformer 进行去噪,最后进行解码生成视频。
Open-Sora 将 Sora 可能使用的训练 pipeline 归纳为下图。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。