Stable Diffusion在阿里云PAI DSW平台实践，送浩浩妈妈二次元_controlnet - warning - a1111 inpaint and controlne

Stable Diffusion在阿里云PAI DSW平台实践，送浩浩妈妈二次元

环境选择

扩展安装

在WebUI中进入扩展，安装需要的扩展插件。

• 注：如果默认列表中没有，可以通过“从网址安装”自行安装
  

安装完毕后，模型请单独下载。
建议模型在个人电脑上下载后，再上传到镜像。（懂的都懂）

扩展安装，以SadTalker为例

• 通过网址安装。大家自行百度。
  安装完毕后，需要在appfolder/extensions/SadTalker中分别创建checkpoints、checkpoints/hub、gfpgan/weights目录。
• SadTalker所需模型自行下载后，上传到指定目录。（SadTalker官网readme里提供了百度网盘地址）

# mv mapping_00109-model.pth.tar checkpoints/
# mv mapping_00229-model.pth.tar checkpoints/
# mv SadTalker_V0.0.2_256.safetensors checkpoints/
# mv SadTalker_V0.0.2_512.safetensors checkpoints/

mv GFPGANv1.4.pth checkpoints/hub/checkpoints/

# mv GFPGANv1.4.pth gfpgan/weights/
# mv alignment_WFLW_4HG.pth gfpgan/weights/
# mv detection_Resnet50_Final.pth gfpgan/weights/
# mv parsing_parsenet.pth gfpgan/weights/
1
2
3
4
5
6
7
8
9
10
11

• 安装requirements

pip install -r requirements.txt
1

• 执行速度
  8秒音频，90秒。
  70秒音频，40分钟。

环境问题

最近几天在启动实例时，时间非常漫长，原因很可疑（绝对不是欠费）。大家自己看：

• 错误信息：

Creating DswInstance timeout, pod event is Successfully assigned / to vk-nodepool-cn-hangzhou-d-2cbtg-0

• 问题分析：
  可能是遇到了高峰时段，忙不过来。错峰再次启动，成功。

二次元换衣服

原图不提供了，原图是浩浩妈妈在狂蟒之灾电影中的片段，大家脑补。

图生图提示词信息片段：

masterpiece,high quality,pajamas, yellow,hands,Negative prompt: EasyNegativeSteps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7

使用到了ControlNet。

2024-04-21 02:30:35,819 - ControlNet - INFO - unit_separate = False, style_align = False
2024-04-21 02:30:35,819 - ControlNet - WARNING - A1111 inpaint and ControlNet inpaint duplicated. Falls back to inpaint_global_harmonious.
2024-04-21 02:30:35,819 - ControlNet - INFO - Loading model from cache: control_v11p_sd15_inpaint [ebff9138]
2024-04-21 02:30:35,819 - ControlNet - INFO - using mask
2024-04-21 02:30:35,821 - ControlNet - INFO - Using preprocessor: inpaint
2024-04-21 02:30:35,821 - ControlNet - INFO - preprocessor resolution = 512
2024-04-21 02:30:35,851 - ControlNet - INFO - ControlNet Hooked - Time = 0.034852027893066406
  0%|                                                    | 0/12 [00:00<?, ?it/s]
 17%|███████▎                                    | 2/12 [00:00<00:00, 10.86it/s]
 33%|██████████████▋                             | 4/12 [00:00<00:00, 10.76it/s]
 50%|██████████████████████                      | 6/12 [00:00<00:00, 10.72it/s]
 67%|█████████████████████████████▎              | 8/12 [00:00<00:00, 10.70it/s]
 83%|███████████████████████████████████▊       | 10/12 [00:00<00:00, 10.54it/s]
100%|███████████████████████████████████████████| 12/12 [00:01<00:00, 10.61it/s]

Total progress: 100%|███████████████████████████| 12/12 [00:01<00:00,  7.47it/s]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

二次元

其他文章推荐：

专栏 ： 人工智能基础知识点

专栏：大语言模型LLM