ComfyUI 介绍及入门

介绍

ComfyUI 是一种用户界面，它采用了基于节点的流程设计，用于操作一种名为 Stable Diffusion 的技术。这种设计允许用户通过自定义流程来实现更精确的工作流程，并确保结果的可重复性。在 ComfyUI 中，每个模块都承担着特定的任务，用户可以通过改变这些模块之间的连接关系来获得不同的图像输出。 尽管这种基于节点的工作方式提供了高度的灵活性和定制性，但它也可能增加了一些使用上的复杂性。为了解决这个问题，ComfyUI 的内部生成流程经过了优化，这不仅提高了生成图像的速度，而且与基于网络的用户界面（webui）相比，对图形处理器（显存）的需求也有所降低。简而言之，ComfyUI 提供了一个既强大又高效的工具，以实现图像生成的定制化和优化。

本地安装

创建 python3.10 环境

conda create -n comfyui python=3.10 -y
1

拉取代码

git clone https://github.com/comfyanonymous/ComfyUI
cd ComfyUI
1
2

安装依赖

python -m pip install -r requirment.txt
1

启动服务

python main.py
1

模型配置

方法1

自行下载模型存放

方法2

沿用 StableDiffusion 模型，配置文件指定 StableDiffusion 模型位置

cp extra_model_paths.yaml.example extra_model_paths.yaml
vim extra_model_paths.yaml
1
2

方法3

使用管理器下载，按需搜索模型下载

基本模块介绍

插件安装

汉化插件

管理器 -> 安装节点 -> 搜索 AIGODLIKE-ComfyUI-Translation 后，点击安装

安装后会点击 重启，再到设置去修改语言设置

ControlNet 安装

同样也是通过管理器下载安装，搜索 ComfyUI’s ControlNet Auxiliary Preprocessors 和 ComfyUI-Advanced-ControlNet 即可

SDXL 风格提示词

管理器 -> 从 Git Url 下载 -> 输入 https://github.com/twri/sdxl_prompt_styler 回车即可

例子

使用 ControlNet 图生图

工作流配置

效果图

局部重绘

工作流配置

VAE 编码器 和 Latent噪波遮罩的区别，可以看到，第一张图主要是通过自绘过渡，而第二张图是在原有的基础上进行绘制

总结

除了以上两个例子，comfyui 已经实现了诸多生图的需求，目前也在国外广泛应用。它相对于 SD，其实已经足够强大，操作门槛低，生成图不管是从效率、还是方便及功能，都胜过 SD。同时，在 视频生成领域上，也已经有不错的例子。