学习之旅：揭秘AI绘画与视频生成的奥妙（2）_ebsynth utility

前言

        在这篇文章中，我们将深入探讨如何使用Ebsynth Utility插件为视频带来全新的视觉效果。通过重绘视频，我们可以实现对视频风格的调整，为其增添独特的艺术氛围。我们将分享实际操作步骤以及过程中可能遇到的问题，帮助大家更好地掌握这一技巧。

        请注意，本文中的部分内容来自网络搜集和个人实践，如有任何错误，请随时向我们提出批评和指正。本文仅供学习和交流使用，不涉及任何商业目的。如果因本文内容引发版权或侵权问题，请通过私信告知我们，我们将立即予以删除。

↓↓↓↓↓↓新文已发，免费云上部署AI绘画↓↓↓↓↓↓

【AI绘画】免费GPU Tesla A100 32G算力部署Stable Diffusion-CSDN博客

目录

前言

Ebsynth Utility插件简介

准备工作与环境设置

1.下载Ebsynth

Ebsynth详细介绍

2.下载FFmpeg

FFmpeg详细介绍

3.安装transparent-background

4.安装WebUI扩展Ebsynth Utility插件

尝试开始

步骤 1  从原始视频中提取帧，并给每一帧生成一个蒙版图像。

步骤 2  选择关键帧提交到 Ebsynth。

步骤 3  将关键帧进行图生图。

步骤 3.5

步骤 4

步骤 5  重命名关键帧。生成 .ebs 文件。（Ebsynth 工程文件）

步骤 6   运行 Ebsynth。（自行操作）

步骤 7 在交叉融合运算时串联每一帧。

步骤 8

总结

参考

---

Ebsynth Utility插件简介

Ebsynth Utility插件是一款强大的视频处理工具，它允许用户将一幅静态图像中的艺术风格或纹理映射到一段视频上。通过使用先进的计算机视觉和图像处理技术，Ebsynth能够分析图像内容并智能地将所选风格应用到视频帧上，从而实现独特的视觉效果。

插件的主要特点包括：

1. 高度自动化：Ebsynth能够自动分析图像和视频，无需手动配置复杂数值参数。
2. 实时预览：插件提供实时预览功能，使用户能够快速查看风格转换效果。
3. 支持多种格式：Ebsynth支持各种主流的图像和视频格式，方便用户进行导入和导出。
4. 完全可定制：用户可以根据需求调整各项参数，实现个性化的视频处理效果。

Ebsynth Utility插件广泛应用于动画制作、短片创作、广告设计等领域，有助于为视频增添独特的艺术风格。无论是将手绘插画风格应用于实景视频，还是为视频带来油画般的质感，都能借助Ebsynth轻松实现。

准备工作与环境设置

1.下载Ebsynth

EbSynth - Transform Video by Painting Over a Single Frame

 下载后解压记住路径即可，后续使用这个软件补帧

Ebsynth详细介绍

Ebsynth是一款颠覆性的图像和视频处理软件，它采用先进的算法将一幅静态图像中的艺术风格和纹理转换到一段视频上。借助Ebsynth，用户可以轻松地为视频带来全新的视觉效果，实现独特的艺术风格。以下是Ebsynth的一些主要特性和功能：

1. 基于样本的图像合成技术：Ebsynth的核心技术是基于样本的图像合成，它能够分析输入的图像样本和视频序列，智能地应用样本中的风格到视频的每一帧，从而实现高质量的风格迁移。

2. 自动关键帧选择与优化：Ebsynth自动分析视频序列，确定关键帧并将所选风格应用于关键帧。之后，软件会智能地在关键帧之间进行插值，确保视频中的风格迁移平滑自然。

3. 灵活的控制参数：Ebsynth提供了多种参数，供用户根据需求进行调整。例如，可以调整风格强度、纹理大小和保持原有颜色等，实现个性化的视频处理效果。

4. 高效的性能与实时预览：Ebsynth具备高效的性能，能够在较短时间内处理大量帧。此外，软件还提供实时预览功能，允许用户随时查看风格迁移的效果，方便进行参数调整。

5. 多平台支持：Ebsynth支持Windows和macOS操作系统，同时提供了命令行和图形用户界面两种操作方式，满足不同用户的需求。

6. 广泛的应用领域：Ebsynth在动画制作、短片创作、广告设计等领域具有广泛的应用前景。无论是实现手绘插画风格的实景视频，还是为视频赋予油画般的质感，Ebsynth都能轻松实现。

Ebsynth的强大功能和易用性使其成为视频创作者和艺术家们的理想选择，它为视频处理和风格迁移提供了全新的可能性。

2.下载FFmpeg

FFmpeg

点击上方连接进入官网下载后解压

 配置解压后文件夹中bin文件夹路径到系统变量中的path

点击新建粘贴路径后确定

FFmpeg详细介绍

FFmpeg是一个开源、跨平台的多媒体处理工具库，包括了处理音频、视频和图像等多种格式的解码器、编码器、滤镜和流复用器。它提供了命令行工具和开发库，可以用于音频和视频的转换、编辑、处理和播放。以下是FFmpeg的一些主要特性和功能：

1. **支持众多格式**：FFmpeg支持诸多音频、视频和容器格式，包括但不限于MP3、AAC、FLAC、H.264、H.265、VP8、VP9、AVI、MP4、MKV等。这使得FFmpeg可以在几乎所有的多媒体处理场景中使用。

2. **编解码器与滤镜**：FFmpeg提供了大量的编解码器，允许用户对音频和视频进行编码和解码。同时，FFmpeg还提供了丰富的滤镜，如缩放、旋转、裁剪、字幕添加等，方便用户对多媒体文件进行编辑和处理。

3. **高性能与优化**：FFmpeg针对各种硬件平台进行了优化，以实现高性能的音频和视频处理。例如，FFmpeg支持硬件加速，可以利用GPU进行编解码，从而大大缩短处理时间。

4. **跨平台兼容性**：FFmpeg可以在Windows、macOS、Linux等多种操作系统上运行，为用户提供了广泛的平台选择。

5. **命令行工具与开发库**：FFmpeg提供了命令行工具`ffmpeg`，允许用户通过简单的命令完成多媒体处理任务，同时还提供了开发库，方便开发者将FFmpeg功能集成到自己的应用程序中。

6. **活跃的社区支持**：作为一个开源项目，FFmpeg拥有庞大的社区支持，用户可以在社区中寻求帮助、分享经验和贡献代码。

FFmpeg凭借其强大功能、高性能和跨平台兼容性，成为了音视频处理领域的事实标准。无论是个人用户还是专业开发者，都可以借助FFmpeg轻松完成多媒体处理任务。

3.安装transparent-background

打开命令提示符或终端窗口。
将当前目录更改为你的整合包python路径，如"F:\stable diffusion-v4.2\python"。你可以使用cd命令来更改目录，例如：cd F:\stable diffusion-v4.2\python。
在命令提示符或终端窗口中输入以下命令并按下回车键：

pip install transparent-background。

等待安装完成。安装过程中会显示一些信息，包括正在下载和安装的文件。
安装完成后，你就可以在Python代码中使用"transparent-background"包了。
请注意，你需要确保你的计算机上已经安装了Python，并且Python的可执行文件路径为"F:\stable diffusion-v4.2\python\python.exe"。如果你的Python安装路径不同，你需要相应地修改命令中的路径。

4.安装WebUI扩展Ebsynth Utility插件

WebUI扩展：

GitHub - s9roll7/ebsynth_utility: AUTOMATIC1111 UI extension for creating videos using img2img and ebsynth.

尝试开始

        Stable Diffusion WEBUI来源：秋葉aaaki的个人空间-秋葉aaaki个人主页-哔哩哔哩视频

        动画转绘教程来源：Nenly同学的个人空间-Nenly同学个人主页-哔哩哔哩视频

        演示图片：学习之旅：揭秘AI绘画与视频生成的奥妙（1）_friklogff的博客-CSDN博客

步骤 1  从原始视频中提取帧，并给每一帧生成一个蒙版图像。

这里可以不变，默认生成蒙版 

点击生成后output中出现两个文件夹

video frame存储提取帧
video mask存储蒙版图像

步骤 2  选择关键帧提交到 Ebsynth。

video_key存储提取帧关键帧

步骤 3  将关键帧进行图生图。

在我们上传视频后，就可以切换步骤3点击生成，这一步只是检测我们的视频路径是否正确能打开

根据视频尺寸然后返回类似如下信息用于图生图

5. I recommend to fill in the "Width" field with [512]//推荐宽度512
6. I recommend to fill in the "Height" field with [960]//推荐高度960
7. I recommend to fill in the "Denoising strength" field with lower than 0.35

//推荐重绘幅度0.35
(When using controlnet together, you can put in large values (even 1.0 is possible).)

(使用controlnet的话，推荐重绘幅度可以更高）

        从video_key中选一张尽量不模糊的任意一张图片拖入图生图界面，这一步按照你想要的风格与特点随意发挥，就和正常的图

        在之前的从零开始-与大语言模型对话学技术-gradio篇（3）_friklogff的博客-CSDN博客中，我们探讨过gradio的UI设计，这种标签页的UI设计方案在UI启动时每个标签页是同时启动的，切换标签页并不会丢失之前的输入输出路径配置。

        这里我简单的先固定种子更换了lora模型并重绘。

        由于显存不足，我使用controlnet会经常爆显存，使用Tiled VAE 插件会可以解决但会耗费大量时间，这里我们可以基于他的推荐进行调整，尽量保证新图与原图人物动作一致，

        然后我们将脚本切换至ebsynth utility，粘贴第一步的工程目录，再点击生成即可批量对每张关键帧照片进行图生图操作。

步骤 3.5

（此步骤可选。对图生图的结果进行颜色校正，可能会减少视频闪烁。或者，你也可以简单地在生成结果中调色。）

这里我的显卡和知识储备不足,实际也可以跳过
 

步骤 4

放大图片到原始视频的尺寸。
这里我的显卡和知识储备不足,实际也可以跳过

步骤 5  重命名关键帧。生成 .ebs 文件。（Ebsynth 工程文件）

当步骤3你批量生成好AI重绘的关键帧后，切换至步骤5点击生成这里会将重绘的关键帧按顺序重命名，打包成若干个 .ebs 文件

步骤 6   运行 Ebsynth。（自行操作）

打开工程目录下生成的 .ebs 文件，按[Run All]按钮。
如果out-*目录已经存在于工程目录中，请在执行前手动删除它。
如果生成了多个 .ebs 文件，则需要全部运行。

 此时右键选择打开方式，找到我们第一步下载的Ebsynth，逐个打开

点击Run All,实现每一部分的关键帧自动补帧 

步骤 7 在交叉融合运算时串联每一帧。

将原始视频中的音频整合到生成的视频中。

当你完成以上每一步，直接切换至步骤7点击生成即可

with_snd是有声音版本，另一个是没有声音的版本

步骤 8

这是一个额外的步骤。
你可以任何你喜欢的图像或者视频放在背景中。
你可以在这里设置 -> [Ebsynth Utility]->[插件配置]->[步骤 8]->[背景源]
如果你已经在反相蒙版模式下创建了一个背景视频（[Ebsynth Utility]->[插件配置]->[其他]->[蒙版模式]），
可以将其设置为“你的工程目录/inv/crossfade_tmp”。

这里我的显卡和知识储备不足,实际也可以跳过

总结

        以上内容大致记录了我的一次简单AI转绘视频，本人第一次尝试，有许多不足，我们希望本文能为您提供实用的指导和有价值的见解。如果您对本文感兴趣或有疑问，请给我点个关注，留下评论并分享。敬请期待我们后续的文章，将为您带来更多我的实践实例。

参考

 Stable Diffusion WEBUI来源：秋葉aaaki的个人空间-秋葉aaaki个人主页-哔哩哔哩视频

 动画转绘教程来源：Nenly同学的个人空间-Nenly同学个人主页-哔哩哔哩视频

 演示图片：学习之旅：揭秘AI绘画与视频生成的奥妙（1）_friklogff的博客-CSDN博客