AI绘画专栏之statble diffusion入门之插件篇_statbu diffrsion ai画图

图片放大插件StableSr

## [分享内容直达](https://cloud.tencent.com/developer/article/2396114)

## [2024最全大厂面试题无需C币点我下载或者在网页打开全套面试题已打包](https://pan.quark.cn/s/865a0bbd5720)

## [AI绘画关于SD,MJ,GPT,SDXL百科全书](https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH)

1.是什么

1. 高保真图像放大：

2. 不修改人物脸部的同时添加非常细致的细节和纹理

3. 适合大多数图片（真实或动漫，摄影作品或AIGC，SD 1.5或Midjourney图片...）

4. 较少的显存消耗：

5. 我移除了官方实现中显存消耗高的模块。

6. 剩下的模型比ControlNet Tile模型小得多，需要的显存也少得多。

7. 当结合Tiled Diffusion & VAE时，你可以在有限的显存（例如，<12GB）中进行4k图像放大。

8. 注意，sdp可能会不明原因炸显存。建议使用xformers。

9. 小波分解颜色修正：

10. StableSR官方实现有明显的颜色偏移，这一问题在分块放大时更加明显。

11. 我实现了一个强大的后处理技术，有效地匹配放大图像与原图的颜色。

2.怎么下

⚪ 方法 1: 官方市场

• 打开Automatic1111 WebUI -> 点击“扩展”选项卡 -> 点击“可用”选项卡 -> 找到“StableSR” -> 点击“安装”

⚪ 方法 2: URL 安装

• 打开 Automatic1111 WebUI -> 点击 "Extensions" 标签页 -> 点击 "Install from URL" 标签页 -> 输入 GitHub - pkuliyi2015/sd-webui-stablesr: StableSR for Stable Diffusion WebUI - Ultra High-quality Image Upscaler -> 点击 "Install"

添加描述

3.怎么玩

我们目前有两个版本。它们产生的细节相似，但是768版本的边缘更自然。

• 您必须使用 StabilityAI 提供的 Stable Diffusion V2.1 768 EMA 检查点（约5.21GB）

• 将其放入 stable-diffusion-webui/models/Stable-Diffusion/ 文件夹中

• 下载提取后的 StableSR 模块

• 将 StableSR 模块（约400MB）放入 stable-diffusion-webui/extensions/sd-webui-stablesr/models/ 文件夹中

---

• 您必须使用 StabilityAI 提供的 Stable Diffusion V2.1 512 EMA 检查点（约5.21GB）

• 将其放入 stable-diffusion-webui/models/Stable-Diffusion/ 文件夹中

• 下载提取后的 StableSR 模块

• 将 StableSR 模块（约400MB）放入 stable-diffusion-webui/extensions/sd-webui-stablesr/models/ 文件夹中

虽然我们使用了 SD2.1 的检查点，但您仍然可以放大任何图片（甚至来自 SD1.5 或 NSFW）。您的图片不会被审查，输出质量也不会受到影响。

• 安装 Tiled diffusion 和VAE扩展

• 原始的 StableSR 对大于 512 的大图像容易出现 OOM。

• 为了获得更好的质量和更少的 VRAM 使用，我们建议使用 Tiled Diffusion & VAE。

• 使用官方 VQGAN VAE

• 把VQVAE（约750MB大小）放在你的 stable-diffusion-webui/models/VAE 中

• 在 WebUI 的顶部，选择你下载的 v2-1_512-ema-pruned 模型。

• 切换到 img2img 标签。在页面底部找到 "Scripts" 下拉列表。

• 选择 StableSR 脚本。

• 点击刷新按钮，选择你已下载的 StableSR 检查点。

• 选择一个放大因子。

• 上传你的图像并开始生成（无需提示也能工作）。

• 推荐使用 Euler a 采样器，CFG值=7，步数 >= 20。

• 尽管StableSR不需要提示词也能工作，我们发现负面提示词能显著增强细节。比如使用3d, cartoon, anime, sketches, (worst quality:2), (low quality:2)

• 点击查看有/没有prompt的对比

• 如果生成图像尺寸 > 512，我们推荐使用 Tiled Diffusion & VAE，否则，图像质量可能不理想，VRAM 使用量也会很大。

• 这里是官方推荐的 Tiled Diffusion 设置。

• 方法 = Mixture of Diffusers

• 隐空间Tile大小 = 64，隐空间Tile重叠 = 32

• Tile批大小尽可能大，直到差一点点就炸显存为止。

• Upscaler必须选择None。

• 下图是24GB显存的推荐设置。

• 对于4GB的设备，只需将Tiled Diffusion Latent tile批处理大小改为1，Tiled VAE编码器Tile大小改为1024，解码器Tile大小改为128。

• SDP注意力优化可能会导致OOM（内存不足），因此推荐使用xformers。

• 除非你有深入的理解，否则你不要改变Tiled Diffusion & Tiled VAE中的其他设置。这些参数对于StableSR基本上是最优解。

• 什么是 "Pure Noise"？

• Pure Noise也就是纯噪声，指的是从完全随机的噪声张量开始，而不是从你的图像开始。这是 StableSR 论文中的默认做法。

• 启用这个选项时，脚本会忽略你的重绘幅度设置。产出将会是更详细的图像，但也会显著改变颜色和锐度。

• 禁用这个选项时，脚本会开始添加一些噪声到你的图像。即使你将去噪强度设为1，结果也不会那么的细节（但可能更和谐好看）。

• 如果禁用Pure Noise，推荐重绘幅度设置为1

• 什么是"颜色修正"？

• 这是为了缓解来自StableSR和Tile处理过程中的颜色偏移问题。

• AdaIN简单地匹配原图和结果图的颜色统计信息。这是StableSR官方算法，但常常效果不佳。

• Wavelet将原图和结果图分解为低频和高频，然后用原图的低频信息（颜色）替换掉结果图的低频信息。该算法对于不均匀的颜色偏移非常强力。算法来自GIMP和Krita，对每张图像需要几秒钟的时间。

• 启用颜色修正时，原图也会出现在您的预览窗口中，但不会被自动保存。

为什么我的结果和官方示例不同？

• 这不是你或我们的错。

• 如果正确安装，这个扩展有与 StableSR 相同的 UNet 模型权重。

• 如果你安装了可选的 VQVAE，整个模型权重将与融合权重为 0 的官方模型相同。

• 但是，你的结果将不如官方结果，因为：

• 采样器差异：

• 官方仓库进行 100 或 200 步的 legacy DDPM 采样，并使用自定义的时间步调度器，采样时不使用负提示。

• 然而，WebUI 不提供这样的采样器，必须带有负提示进行采样。这是主要的差异。

• VQVAE 解码器差异：

• 官方 VQVAE 解码器将一些编码器特征作为输入。

• 然而，在实践中，我发现这些特征对于大图像来说非常大。 (>10G 用于 4k 图像，即使是在 float16！)

• 因此，我移除了 VAE 解码器中的 CFW 组件。由于这导致了对细节的较低保真度，我将尝试将它作为一个选项添加回去

4.怎么办

显存问题