智谱清影开源！_cogvideox

6小时前，智谱清影开源！

原创 陆再谋 AI电影共创社 2024年08月06日 09:07 

引言

2024年8月6日，智谱清影（THUDM）团队宣布开源其创新的视频生成模型CogVideoX系列，这标志着视频内容创作的一个新里程碑。开源不仅促进了技术的共享和进步，也为广大开发者和研究者提供了探索和创新的平台。

CogVideoX系列模型介绍

CogVideoX是智谱清影团队开发的一系列视频生成模型，它们能够根据文本提示生成视频内容。最新开源的CogVideoX-2B模型以其强大的生成能力和较低的资源需求，为视频生成领域带来了新的活力。

开源下载链接

网址：https://github.com/THUDM/CogVideo

主要特性

• Prompt Language: 英语

• GPU Memory Required for Inference: 使用SAT技术时需18GB，使用diffusers时需36GB（即将优化）

• GPU Memory Required for Fine-tuning: 40GB

• Prompt Max Length: 226 Tokens

• Video Length: 6秒

• Frames Per Second: 8帧

• Resolution: 720 * 480

• Quantized Inference: 不支持

• Multi-card Inference: 不支持

历史意义

1. 技术创新：CogVideoX-2B的开源，代表了视频生成技术的一大步，使得生成高质量视频内容变得更加容易和高效。

2. 资源共享：开源促进了全球开发者和研究者之间的知识共享，加速了视频生成技术的发展和应用。

3. 社区建设：智谱清影通过开源，建立了一个活跃的开发者社区，为模型的进一步优化和创新提供了土壤。

项目结构与使用

智谱清影团队提供了详细的项目结构和使用指南，包括：

• Inference: 命令行界面和Web演示，展示如何使用CogVideoX-2B生成视频。

• sat: 包含SAT权重的推理和微调代码，推荐基于CogVideoX模型结构进行改进。

• Tools: 包含模型转换和字幕生成等工具。

开源计划

智谱清影团队的开源计划包括：

• CogVideoX模型的开源。

• 3D Causal VAE的开源，该技术在CogVideoX中使用。

• CogVideoX模型的推理示例（CLI/Web Demo）。

• CogVideoX在线体验演示（Huggingface Space）。

• CogVideoX开源模型API接口示例（Huggingface）。

• CogVideoX模型的微调示例（SAT/Huggingface）。

• CogVideoX-Pro的开源，专为CogVideoX-2B套件设计。

• 发布CogVideoX技术报告。

贡献与社区

智谱清影团队欢迎社区的贡献，并提供了详细的贡献指南。社区成员可以通过贡献代码、文档、示例或反馈来参与项目的发展。

AI电影共创社清影交流社区：

https://aimoviecs.feishu.cn/wiki/VlrVwnyTJiPNs1k24ZqcqlxXnkc

结语

智谱清影的开源行动不仅为视频生成领域带来了新的技术突破，也为全球的技术社区提供了宝贵的资源和学习机会。视频生成将迎来群雄争霸的“乱纪元”，无法预估的黑天鹅事件正不断上演，生态将更加繁荣、发展更加迅猛。智谱也将成为视频生成的引领者，随着更强大的模型和工具的不断推出，我们有理由相信，视频内容创作将迎来一个全新的时代。

编辑排版AI软件：智辑AI（aizhiji.com）

---

---

AI电影共创社：国内最大的AI影视社群，社群超万人，有多名国内著名导演、编剧、影视领域教授专家学者，有200多名AIGC专家，核心成员60多名，已共创AI先导片《逍遥游》、《逍遥》，AI动画《世间哪吒》，AI宣传片《AI贵州村超》等作品。欢迎您加入，一起共学共创中国AI影视。

官方学习文档：

‌‍‌⁠‍⁠⁠‌‍‍‍⁠‬‍⁠‍‬https://aimoviecs.feishu.cn/wiki/VlFUwKlsbidJ08kxiuWc6xganFc

加入社群：目前AI电影共创社除了总社各社群，还设有北京、上海、杭州、贵阳、横店、宁波、金华、广州、成都、佛山、中山、长春、济南、长沙等区域分社群。方便您对接资源，线下交流。只要您想学习AI，都可以加入我们。