ubuntu 系统部署 Stable Video Diffusion_svd_xt.safetensors

11月21日，stability.ai 发布了生成式视频模型 Stable Video Diffusion（SVD） 。

• 官方博客链接：Introducing Stable Video Diffusion — Stability AI
• git地址：GitHub - Stability-AI/generative-models: Generative Models by Stability AI

下面把在本地部署和使用SVD的过程记录下来。

• 系统：Ubuntu 20.04.5 LTS
• 显卡：GeForce RTX 2060（能用sd跑视频，但尺寸要设小一点）
• 方式：ComfyUI（是一个强大且模块化的stable diffusion图形用户界面，它采用图/节点/流程图界面，让用户可以设计和执行高级stable diffusion管道，而无需编写任何代码。比Stable Diffusion WebUI的控制力更强一些，使用也更复杂一点。）

安装python3.10

用其他版本可能后续会出现不兼容，我实际就用3.11出现了不兼容。

实测比较适用的python升级方式，记得安装虚拟环境Upgrade Python to latest version (3.12) on Ubuntu Linux or WSL2

• 尽量不要卸载ubuntu系统原来的python，也不要改python3的软链接
• 不要用下载源码编译的方式升级python

安装ComfyUI

git地址，readme中有详细的Installing模块，参考其安装：GitHub - comfyanonymous/ComfyUI: The most powerful and modular stable diffusion GUI with a graph/nodes interface.

1. git clone
2. 在models/checkpoints下面放上模型文件（比较大的ckpt/safetensors文件）svd_xt.safetensors 文件，9.56G，https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main3​​​​​​
3. 在ComfyUI下创建python3.10的虚拟环境

   1. cd ComfyUI
      python3.10 -m venv myEnv
      source myEnv/bin/activate
      

4. 执行 readme “Manual Install (Windows, Linux)” 下面的安装命令
5. 启动：python main.py，此时能看到ComfyUI的操作界面。

使用SVD example

样例地址：

• • Video Examples | ComfyUI_examples

尝试Image to Video

• 在ComfyUI界面点击Clear，删掉默认的流程图
• 把草地雪山的动图右键另存为保存下来
• 把保存下来的图片文件拖到ComfyUI界面里，就能看到流程图了
  • 选择模型
  • 设置大小及其他参数
  • 开始运行 Queue Prompt
  • 流程图上有进度显示，很快会有一个类似样例的动图出现，至此部署成功