StableSwarmUI使用总结

前言

StableSwarmUI是Stability AI官方的stable diffusion WebUI，前端网页采用HTML/JS开发，后端服务使用C#开发，可以提供响应迅速的和支持多线程的后端服务
github仓库：https://github.com/Stability-AI/StableSwarmUI

1.安装

StableSwarmUI只是stable diffusion的web框架，真正运行文生图和图生图等推理任务，还需要安装推理后端，官方推荐ComfyUI做为推理后端。可以选择提前安装或者是在StableSwarmUI安装的过程中安装ComfyUI。我推荐先安装好ComfyUI，运行成功后再安装StableSwarmUI，这样的安装过程可以更流畅一些
ComfyUI的安装请参考我的另一篇文章：https://blog.csdn.net/u010618499/article/details/134010897

1.安装.Net

StableSwarmUI的运行需要安装.NET，我用的是debian11操作系统，x86_64芯片架构，安装的是.NET 7.0版本，其他操作系统可以参考下面的链接:
.NET在各个操作系统上的安装方法：https://learn.microsoft.com/zh-cn/dotnet/core/install/

# 安装 .NET 之前，先将 Microsoft 包签名密钥添加到受信任密钥列表，并添加包存储库。
wget https://packages.microsoft.com/config/debian/11/packages-microsoft-prod.deb -O packages-microsoft-prod.deb
sudo dpkg -i packages-microsoft-prod.deb
rm packages-microsoft-prod.deb

# 安装.NET sdk
sudo apt-get update
sudo apt-get install -y dotnet-sdk-7.0

# StableSwarmUI在有些linux系统上需要单独安装runtime才能运行，如有需要，用下面的命令行安装
sudo apt-get install -y aspnetcore-runtime-7.0
1
2
3
4
5
6
7
8
9
10
11

安装完成后，在终端输入dotnet --version，如果有版本信息，就说明.NET安装成功了

2.安装StableSwarmUI

克隆StableSwarmUI仓库，运行launch-linux.sh脚本，StableSwarmUI服务的默认端口是7801，在浏览器上打开http://localhost:7801/Install进入安装页面，跟随页面提示进行安装即可。
主要步骤包含：

1. 同意SD许可
2. 选择一个主题颜色
3. 选择使用对象，通常选择只是自己使用
4. 选择要安装的推理后端，如果已经有 ComfyUI 或其他推理后端，可以跳过此步骤；如果没有，推荐 ComfyUI
5. 选择要下载的模型，如果已经有了，可以跳过此步骤；如果没有，推荐SDXL1.0版本
6. 确认所选的设置，然后安装，完成此操作后，它应该会自动重定向到主界面

git clone https://github.com/Stability-AI/StableSwarmUI
cd StableSwarmUI
bash launch-linux.sh
1
2
3

提示：如果服务启动过程中报Failed to launch mode 'webinstall' (If this is a headless/server install, change 'LaunchMode' to 'none' in settings)这样的错误，可以将StableSwarmUI/Data/Settings.fds文件里的LaunchMode改为none，如：LaunchMode: none

3.配置ComfyUI推理后端

安装好StableSwarmUI后，还需要配置推理后端，如下图所示，点击Server下的Backends选项卡，选择ComfyUI Self-Starting，在StartScript里输入ComfyUI中的main.py的绝对路径，再点save保存配置，这时StableSwarmUI会使用ComfyUI做为推理后端

配置好ComfyUI推理后端后，还需要告诉服务哪里能加载模型，点击Server下的Server Configuration选项卡，ModelRoot中填入ComfyUI/models目录的绝对路径，其他文本框里可以按下图填写，配置base model，lora，vae，controlnet，clip_vision等模型的目录

全部配置好之后，可能需重启StableSwarmUI服务，才能全部生效

2.使用

1.生成你的第一张图片

1. 点击界面上方的Generate选项卡
2. 在页面的下放选择base model和插件
3. 这时Model文本框里会显示已选择的模型
4. 然后输入正向和负向prompt
5. 点击屏幕中的Generate按钮
6. 稍等片刻，屏幕中央就会出现生成的图片
   

2.使用refiner模型

官方发布的SDXL包含base和refiner两个版本的模型，两个模型可以配合使用，生成更加有细节的图片，如下图所示，选择base做为底模生成草图，然后选择refiner精修图片，得到的图片质感更佳

3.使用ComfyUI自定义工作流

点击界面上方的Comfy Workflow Editor选项卡，在页面中配置好节点，选择模型和插件，输入正向和负向prompt，然后点击Use This Workflow in Generate Tab按钮，这时会自动跳转到Generate选项卡页面，并且所有的配置都会更新为刚刚在ComfyUI中的配置，直接点击Generate就可以生成图片。如果想删除ComfyUI工作流，恢复至默认的配置，就点击Disable Custom ComfyUI Workflow按钮

4.使用presets

presets可以影响生成图片的风格化，首先下载sdxl官方preset.json文件至任意一个地方，然后点击界面下方的Presets选项卡下的Import Presets按钮，上传刚刚下载的preset.json文件，在点击import，然后在Presets选项卡就可以看到各种风格的presets配置了，官方提供的presets包含漫画、数字艺术、线条艺术、3D模型、像素艺术等一共17种风格

在使用presets过程中，只需要点击Presets选项卡下的卡片即可。例如下图，是我用base model配合refiner model，选择折纸风格（Origami）的presets，生成了一张具有折纸风格的漂流瓶图片

5.使用图生图、lora

点击界面左侧的Init Image，上传示例图片，就可以进行图生图。下图是base model，refiner model配合漫画风的presets和写实风的lora模型，根据示例图片和prompt生成的图片

3.总结

StableSwarmUI的使用非常灵活，除了以上介绍的使用方法，还可以在界面下方选择各种插件来组合使用，如vae、lora、embeddings、controlnets等，同一个类型的插件也可以使用多个，例如可以同时使用多个lora模型。可以在界面左侧配置参数，设定随机种子、图片大小和数量等。同时，StableSwarmUI几乎开放了所有的参数供使用者尝试，感兴趣的可以多多探索，下载自己喜欢的模型和插件，尝试各种模型组合和参数配置，生成富有想象力的图片

参考链接：https://github.com/Stability-AI/StableSwarmUI/tree/master/docs