【GitHub项目推荐--自动生成视频】【转载】_githubtext转视频项目

视频制作机器人RedditVideoMakerBot

有些在抖音、快手上的视频获得了数百万的观看次数，你仔细分析他们的视频，他们唯一做的原创事情收集材料、然后拼接在一起。尤其是一些新闻类的视频，本开源项目就是把这个过程自动化了。

你只需要准备好视频材料，就能自动生成一个视频。

开源地址：https://github.com/elebumm/RedditVideoMakerBot

开源的短视频生成和编辑工具open-chat-video-editor

Open Chat Video Editor 是基于 AI 的短视频创作工具，解放你的生产力。基于 ChatGPT、Alpaca 等大模型，可以将短文本、网页链接一键转成短视频。

如下图是技术框架图：整体流程是将短文本输入到模型，来生成文案。通过图像搜索、图像 AI 生成技术来寻找配图，通过视频搜索、视频生成等技术来找合适的视频片段，最终通过语音合成、BGM 匹配、字幕合成打造一个短视频作品。

开源地址：https://github.com/SCUTlihaoyu/open-chat-video-editor

Open Chat Video Editor的介绍

Open Chat Video Editor是一个结合了ChatGPT、Stable Diffusion和多模态搜索技术的短视频生成和编辑工具。它实现了以下功能：

1. 短句转短视频(Text2Video)：用户可以输入一个短句，Open Chat Video Editor会根据短句生成一个短视频。

2. 网页链接转短视频(URL2Video)：用户可以输入一个网页链接，Open Chat Video Editor会根据网页内容生成一个短视频。

3. 长视频转短视频(Long Video to Short Video)：用户可以输入一个长视频，Open Chat Video Editor会根据长视频内容生成一个短视频。

该工具主要依赖于ChatGPT进行文本生成，再结合Stable Diffusion和多模态搜索技术进行视频生成和编辑。用户可以通过输入文本或链接，快速生成短视频，实现文本到视频的转换。

目前具有以下特点：

短句转短视频（Text2Video）：根据输入的简短文字，生成短视频文案，并合成短视频

网页链接转短视频（Url2Video）：自动对网页的内容进行提取，生成视频文案，并生成短视频

长视频转短视频（长视频转短视频）：对输入的长视频进行分析和摘要，并生成短视频

• 1）一键生成可用的短视频，包括：配音、背景音乐、字幕等。

• 2）基于开源项目的算法和均数据，方便技术交流和学习

• 3）支持多种输入数据，方便对各种数据，一键转短视频，目前支持：

• 4）架构生成模型和多模态模型搜索等多种主流模型和模型，如：Chatgpt,Stable Diffusion,CLIP 等

文本生成上，支持：

• 聊天GPT

短句转短视频（Text2Video）

界面如下： 以输入文案：【小孩子养宠物】为例，利用文本模型（如：chatgpt 等），可以自动生成一个简短的短视频文案：

['小孩子养宠物', '可以更好地提升小孩子的责任感和独立感', '但也要慎重的选择合适的宠物', '因为只有经过一定的训练养成', '它们才能够成长起来', '一起玩耍和度过一段欢快的时光', '宠物不仅能够陪伴小孩子渡过寂寞时光', '还能培养小孩子处事冷静、自信以及情感交流和沟通能力', '在养宠物的过程中', '小孩子们可以唤醒和发掘他们被磨练出来的坚毅和耐力', '能够亲身体验到勤勉 和坚持的重要性']

网页转短视频（Url2Video）

界面如下：

1）输入一个url，例如：https://zh.wikipedia.org/wiki/%E7%BE%8E%E5%9B%BD%E7%9F%AD%E6%AF%9B%E7%8C%AB 其内容是：美国短毛猫的维基百科

安装与使用

首先下载源码

git clone https://github.com/SCUTlihaoyu/open-chat-video-editor.git

根据不同需求，选择不同的安装方式1、2、和3、任选其一。

1、码头工人

目前docker环境因为每个人的cuda版本可能不一样，所以无法保证都能够正常使用GPU。目前支持图像检索模式，CPU机器也可以使用。但是docker比较大，需要占用比较多的存储（24G）。YourPath表示上面下载的代码的路径

docker pull iamjunhonghuang/open-chat-video-editor:retrival
docker run -it --network=host -v /YourPath/open-chat-video-editor:/YourPath/open-chat-video-editor/ iamjunhonghuang/open-chat-video-editor:retrival bash
conda activate open_editor

或者使用阿里云的镜像：

docker login --username=xxx registry.cn-hangzhou.aliyuncs.com
docker pull registry.cn-hangzhou.aliyuncs.com/iamjunhonghuang/open-chat-video-editor:retrival
docker run -it --network=host -v /YourPath/open-chat-video-editor:/YourPath/open-chat-video-editor/ registry.cn-hangzhou.aliyuncs.com/iamjunhonghuang/open-chat-video-editor:retrival bash
conda activate open_editor

注意：目前暂不支持中文字幕显示，所以需要修改配置文件yaml中的字体设置，例如'image_by_retrieval_text_by_chatgpt_zh.yaml'

  subtitle:
    font: DejaVu-Sans-Bold-Oblique
    # font: Cantarell-Regular
    # font: 华文细黑

更多详情官网        

短视频让很多人发财

短视频在中国互联网生态中占据了极其重要的位置，它不仅成为用户日常生活中不可或缺的一部分，也为许多人提供了变现个人才能和创造力的平台。根据提供的信息，可以概括为以下几个方面：

1. 用户规模的持续增长：短视频平台用户规模的不断扩大，表明这一形式的内容极为受欢迎。以抖音、快手等平台为例，它们凭借高度的用户粘性和丰富的内容形式，吸引了庞大的用户基础。

2. 内容多样化：短视频内容涵盖生活、娱乐、教育、科技等多个领域，使得信息传递更加迅速、直观，同时也给内容创作者提供了展示才华的舞台。

3. 平台的商业潜力：短视频平台通过算法推荐、精准营销等技术手段，能够为广告主和品牌提供高效的推广渠道，实现流量的商业变现。

4. 普通人通过短视频变现的案例：不少个体通过短视频展示自己的特色和创意，吸引了粉丝和关注，进而通过广告分成、直播打赏、电商带货等方式实现了经济收益。

5. 政策与市场的规范：随着市场的发展，国家也出台了一系列政策来规范短视频行业，保护知识产权，以及促进健康有序的市场环境。

6. 技术进步与创新：5G等新技术的应用，使得短视频的观看体验更加流畅，也为短视频内容的创作和分发提供了更加便捷的条件。

总之，短视频作为一种新兴的传播形式，在中国社会经济和技术发展的背景下，已经成为了促进信息流通、激发创意和促进就业的重要工具。它不仅为普通大众提供了表达和创业的机会，也为经济增长和文化的多元传播贡献了力量。

开源视频生成模型VideoCrafter

这个开源项目叫做VideoCrafter，是由腾讯 AI 实验室开发的视频生成模型。它的目标是克服高质量视频数据获取的局限性，训练出能够生成高质量视频的模型。

VideoCrafter 的核心思想是将视频的生成过程分解为两个主要部分：运动（motion）和外观（appearance）。

通过这种方法，VideoCrafter 能够在没有高质量视频数据的情况下，利用低质量视频来保证运动的一致性，同时使用高质量的图像来确保生成视频的画面质量和概念组合能力。

VideoCrafter 目前包括 Text2Video 和 Image2Video 两种模型。Text2Video 模型可以根据文本生成视频，而 Image2Video 模型则可以根据图像生成视频。

此外，VideoCrafter 还提供了预训练的模型和推理代码，附有详细的安装和使用说明

开源地址：https://github.com/AILab-CVC/VideoCrafter

如下是一些示例：

"Tom Cruise's face reflects focus, his eyes filled with purpose and drive.”

"A child excitedly swings on a rusty swing set, laughter filling the air.”

"Impressionist style, a yellow rubber duck floating on the wave on the sunset”