（一）linux下部署sdwebui，安装模型和插件_mlsd_large_512_fp32.pth

资料

• windows 启动器视频链接, windows用户使用轻松入门
• civitai

安装

下载stable-diffusion-webui，并准备py3.9, 升级pip, 设置云厂商镜像源

最好是python 3.10以上，和使用canda,本教程是3.10和venv部署，一样可以使用，不过好像是有限制的，目前还没遇到有什么功能体验不了

# 下载stable-diffusion-webui
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
# 进入目录
cd stable-diffusion-webui/
# libGL.so 报错需要的依赖
yum install -y mesa-libGL.x86_64

# 不允许用根用户安装，创建普通用户
useradd peter
chown -R peter.peter .
su peter

# 创建虚拟环境，这个可以是conda等其他手段，具体可以百度python安装，这里是python3.9
python3.9 -m venv venv

# 激活环境
source venv/bin/activate
# 设置云厂商的pip镜像源
pip config set global.index-url 'http://mirrors.tencentyun.com/pypi/simple'
pip config set global.trusted-host 'mirrors.tencentyun.com'

python -m pip install --upgrade pip
# libGL.so 报错需要的依赖
pip install opencv-python-headless
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

修改加载的lauch.py, 设置pytorch源为厂商

torch_command = os.environ.get('TORCH_COMMAND', "pip install torch==1.13.1 torchvision==0.14.1")
1

安装

sh webui.sh --enable-insecure-extension-access --xformers --server-name 0.0.0.0

#安装过程会新增repositories文件夹，
#存放stable-diffusion-stability-ai，taming-transformers等模型
# 模型下载位置 /data/stable-diffusion-webui

1
2
3
4
5
6

插件安装

• controlnet
• openpose

yum -y install git git-lfs
1

github加速,国内访问速度比较慢https://ghproxy.com/

https://ghproxy.com/https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui-extensions/master/index.json
1

sd-webui-controlnet 插件

sd-webui-controlnet 如果点击安装按钮不成功，则需要获取git地址手动安装，或者自己先把插件通过git clone或者github网页下载整个包之后放在stable-diffusion-webui > extensions 文件夹下面。安装好后记得在installed页面点击apply and restart（应用并重启）。

安装插件需要的模型文件，controlnet 模型地址,将模型放入“stable-diffusion-webui\extensions\sd-webui-controlnet\models”中。现在我们已经包含了所有“yaml”文件。您只需要下载“pth”文件。

# 进入ControlNet插件目录
cd {project}/models/ControlNet
git lfs install
git lfs clone https://huggingface.co/lllyasviel/ControlNet
1
2
3
4

模型可以下载单个，不一定全部都要

• ControlNet/models/control_sd15_canny.pth ，用于使用精明边缘检测来控制 SD。
• ControlNet/models/control_sd15_depth.pth , 使用Midas深度估计来控制SD。
• ControlNet/models/control_sd15_hed.pth ，使用 HED 边缘检测（软边缘）控制 SD。
• ControlNet/models/control_sd15_mlsd.pth ，使用M-LSD线检测来控制SD（也可以与传统的Hough变换一起使用）。
• ControlNet/models/control_sd15_normal.pth ControlNet+SD1.5 模型使用法线贴图控制 SD。最好使用该 Gradio 应用程序生成的法线贴图。只要方向正确，其他法线贴图也可以工作（左边看红色，右边看蓝色，上看绿色，下看紫色）。
• ControlNet/models/control_sd15_openpose.pth 使用 OpenPose 姿势检测控制 SD。直接操纵姿势骨架也应该有效。
• ControlNet/models/control_sd15_scribble.pth ControlNet+SD1.5模型使用人类涂鸦控制SD。该模型使用边界边缘进行训练，具有非常强大的数据增强功能，以模拟类似于人类绘制的边界线。
• ControlNet/models/control_sd15_seg.pth 使用语义分割来控制SD。协议是ADE20k。
• ControlNet/annotator/ckpts/body_pose_model.pth 第三方模型：Openpose的姿势检测模型。
• ControlNet/annotator/ckpts/hand_pose_model.pth 第三方模型：Openpose的手部检测模型。
• ControlNet/annotator/ckpts/dpt_hybrid-midas-501f0c75.pt 第三方模型：迈达斯深度估计模型。
• ControlNet/annotator/ckpts/mlsd_large_512_fp32.pth 第三方模型：M-LSD检测模型。
• ControlNet/annotator/ckpts/mlsd_tiny_512_fp32.pth 第三方模型：M-LSD的另一个较小的检测模型（我们不使用这个）。
• ControlNet/annotator/ckpts/network-bsds500.pth 第三方模型：霍尔效应器件边界检测。
• ControlNet/annotator/ckpts/upernet_global_small.pth 第三方模型：Uniformer 语义分割。

注意第一次使用control_sd15_openpose模型，就会自动去下载相关的第三方模型，body_pose_model,hand_pose_model,facenet

加载模型,{project}换成你的路径

cd {project}/models/ControlNet
ln -s {project}/sdmodels/ControlNet/models/control_sd15_* .
1
2

主模型模型

去huggingface找到chilloutmix_Ni、GuoFeng3.3等主模型安装方法是一样的

一般是存放在/data/stable-diffusion-webui/models/Stable-diffusion文件后缀为safetensors、ckpt的文件

如何加载 chilloutmixni 模型（人物出图没得说）

# 根据实际存放修改即可
cd {project}
curl -Lo chilloutmixni.safetensors https://huggingface.co/nolanaatama/chomni/resolve/main/chomni.safetensors
ln -s {project}/sdmodels/chilloutmixni.safetensors {project}/stable-diffusion-webui/models/Stable-diffusion
1
2
3
4

如上，这个模型是下载完放在stable-diffusion-webui/models/stable-diffusion

当然，若有lora模型，需要放置到如下文件夹下

stable-diffusion-webui>>models>>Lora
1

SD人物SOLO提示词

模型：chilloutmixni ，选对模型比什么都重要，随便都能出好图
图片大小：512x786，竖图，表现人物效果更好，高挑
提示词：

1. 高质量图片词，(masterpiece:1.0), (best quality:1.0), (ultra highres:1.0) ,(8k resolution:1.0),(realistic:1.0),(ultra detailed1:0), (sharp focus1:0), (RAW photo:1.0)
2. 环境人物补充词，full body,simple background,beautifull girl,solo focus是solo描述，
3. 把这些删除掉换成你的需要即可，tall,skirt,high heels,sea side,sky,tree

模板，理论上模型和参数都一样的情况下，出图是一模一样的，随机图片可以设置seed（批量出一个prompt的图）为-1

#提示词
(masterpiece:1.0), (best quality:1.0), (ultra highres:1.0) ,(8k resolution:1.0),(realistic:1.0),(ultra detailed1:0), (sharp focus1:0), (RAW photo:1.0),full body,simple background,beautifull girl,solo focus,
tall,skirt,high heels,sea side,sky,tree

# 负面
Negative prompt: (easynegative:1.2), (worst quality: 1.2), (low quality: 1.2),nsfw,by <bad-artist-anime:0.6> , by <bad-artist:0.6> , by <bad-hands-5:0.6>, by < bad_prompt_version2:0.8>

#模型参数
Steps: 40, Sampler: DPM++ SDE Karras, 
CFG scale: 7, Seed: 1845414120, 
Face restoration: CodeFormer, 
Size: 512x786, 
Model hash: 7234b76e42, Model: chilloutmixni, 
Denoising strength: 0.45, Hires upscale: 1.4, Hires steps: 11, Hires upscaler: Latent (bicubic antialiased)
1
2
3
4
5
6
7
8
9
10
11
12
13
14

效果

GuoFeng3.3模型 + controlnet（学习客服姿势）
提示词就是官方的Demo这里就不放了，效果非常好