Stable Diffusion 长视频真人动画风格互转_stable diffusion怎么转变视频风格

Stable Diffusion Temporal-Kit和EbSynth 从娱乐到商用

免费的SD模型下载网站：
Civitai官网: https://civitai.com/
Liblib：https://www.liblib.art/
炼丹阁：https://www.liandange.com/（寄了）
HuggingFace：https://huggingface.co/
Stable Diffusion Models：https://cyberes.github.io/stable-diffusion-models/
更全的Stable Diffusion Models：https://rentry.co/sdmodels
Gitee：https://gitee.com/modelee

基于SD的风格化编辑主流方式：

• ControlNet-M2M
• ControlNet img2img
• Mov2mov extension
• SD-CN Animation extension
• Temporal Kit
• Temporal Kit + EbSynth
• EbSynth插件

问题：重绘幅度调整太小，基本上和换脸视频差不多，服装通过lora调整加入，关键词权重调很高，基本上不能把视频中的衣服换掉。尝试各种参数设置，效果可能都不是很好。

减少虚影：减少动画插帧数量。

1. Temporal Kit 和 EbSynth

Temporal Kit 和 EbSynth 都是视频风格转换的工具，用于提取关键帧、补全非关键帧。配合各种SD模型的使用方法：

1. TemporalKit / Ebsynth提取关键帧
2. Stable Diffusion 风格迁移
3. TemporalKit / Ebsynth补全重绘后的关键帧图片之间的序列帧，并拼合出了视频。

区别：用Ebsynth进行补帧和合成，相比于Temporal-kit插件Ebsynth utility生成步骤清晰，后期还能指定更换背景。但Ebsynth utility插件生成的重绘效果有些图片会有阴影，需要单独挑出来再次图生图重绘。

1.1 提取关键帧

为什么要提取关键帧？提取关键帧就是把视频中动作变化比较大的画面转成图片，下一步就是对这些图片进行重绘。如果不提取关键帧，而是把视频的每一帧都重绘，一是工作量大，二是重绘的每张图片可能都有点不一样，画面可能闪烁比较严重。

https://zhuanlan.zhihu.com/p/677801384

在SD WebUI的主页签中找到 Temporal-Kit，点击打开。然后接着点击“Pre-Processing”

参数setting：

• Sides：生成的1张图片的边包含几张视频帧。如果是2就代表4个视频帧，也就是 2*2；如果是3就代表9个视频帧，也就是 3*3；最小设置为1，也就是1张图包含1个视频帧。这个要结合后边的 Height Resolution一起设置。

• Height Resolution：生成图片的高度的像素值，建议是：视频的高度 * Sides ，比如我这个视频是 1080*720，单个视频帧的高度就是720，但是前边Sides设置的2，所以就是720*2=1440。但是这个公式不是绝对的，你也可以写个720，或者写个2048。这个值需要考虑显卡的性能，如果显卡不太行，不要设置的太高。

• frames per keyframe：多少视频帧抽取一个关键帧，关键帧越密动作衔接越流畅，但是可能重绘的变化越多，导致画面闪烁。（一般动作幅度越大，抽帧越密集）

• EBSynth Model：因为我们后边要使用EBSynth来处理