[AIGC] Stable Diffusion 如何使用 VAE 改善眼睛和脸部_stable diffusion 后期处理眼睛问题

英文原文：https://stable-diffusion-art.com/how-to-use-vae/

VAE 是稳定扩散 1.4 或 1.5 模型的部分更新，可以使眼睛渲染得更好。我将解释什么是 VAE、您可以期待什么、在哪里可以获得它以及如何安装和使用它。

什么是VAE？

VAE 代表variational autoencoder(变分自动编码器)。它是神经网络模型的一部分，可在较小的潜在空间之间对图像进行编码和解码，从而使计算速度更快。

我需要 VAE 吗？

您不需要安装 VAE 文件来运行 Stable Diffusion - 您使用的任何模型，无论是 v1、v2 还是自定义模型，都已经有默认的 VAE。

当人们说下载和使用 VAE 时，他们指的是使用它的改进版本。当模型训练器使用附加数据进一步微调模型的 VAE 部分时，就会发生这种情况。他们没有发布一个大文件的全新模型，而是只发布已更新的一小部分。

使用VAE有什么效果？

通常，它很小。改进的 VAE 可以更好地从潜在空间解码图像。精细细节得到更好的恢复。它有助于渲染所有细节都很重要的眼睛和文本。

Stability AI 发布了两种经过微调的 VAE 解码器变体：EMA(Exponential Moving Average) 和 MSE(Mean Square Error)。 （指数移动平均值和均方误差是衡量自动编码器性能的指标。）

请看下面的比较。

Stability AI EMA、MSE 和原始解码器之间的比较。 （256×256 图像）

您应该使用哪一个？对 256×256 图像的稳定性评估是，EMA 生成的图像更清晰，而 MSE 的图像更平滑。 （这符合我自己的测试。）

在我自己使用 512×512 图像对 Stable Diffusion v1.4 和 v1.5 进行的测试中，我发现某些图像中的眼睛渲染效果有了很大的改进，尤其是当面部较小时。我没有看到渲染文本有任何改进，但无论如何，我认为没有多少人因为这个原因而使用稳定扩散。

无论如何，新的 VAE 性能都会更差。要么做得更好，要么什么都不做。

下面是使用稳定扩散 v1.5 模型的原始、EMA 和 MSE 之间的比较。 （提示可以在这里找到。）放大并比较差异。

使用 SD v1.5 比较原始、EMA 和 MSE 之间的 VAE。请注意，原始图像中的乱码眼睛已恢复。

对文本生成的改进并不那么明显（在提示中添加了“举着一个表示稳定扩散的标志”）：

原始、EMA 和 MSE 之间的 VAE 比较。文本渲染的改进尚不清楚。

您还可以将这些 VAE 与自定义模型一起使用。我用一些动漫模型进行了测试，但没有看到任何改进。我鼓励您自己进行测试。

最后一点，EMA 和 MSE 与 Stable Diffusion v2.0 兼容。您可以使用它们，但效果很小。 2.0在渲染眼睛方面已经非常擅长了。也许他们已经将改进纳入到模型中。

我应该使用 VAE 吗？

如果您对所获得的结果感到满意，则无需使用 VAE。例如，您已经在使用 CodeFormer 等面部修复来修复眼睛。

如果您愿意采取所有可以获得的小改进，那么您应该使用 VAE。您只需要经历一次设置的麻烦。之后，艺术创作工作流程保持不变。

如何使用VAE？

VAE 可以在快速入门指南中包含的 Colab Notebook 中使用。

下载

目前，Stability发布了两个VAE的改进版本。以下是直接下载链接。

EMA VAE 下载链接

MSE VAE 下载链接

安装

此安装说明适用于 AUTOMATIC1111 GUI。将下载的VAE文件放入目录中

stable-diffusion-webui/models/VAE

适用于 Linux 和 Mac 操作系统

为了方便起见，请在 Linux 或 Mac OS 中的 stable-diffusion-webui 目录下运行以下命令，下载并安装 VAE 文件。

wget https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt -O models/VAE/vae-ft-ema-560000-ema-pruned.ckpt
wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O models/VAE/vae-ft-mse-840000-ema-pruned.ckpt
1
2

使用

要在 AUTOMATIC1111 GUI 中使用 VAE，请单击左侧的“设置”选项卡，然后单击“VAE”部分。

在 SD VAE 下拉菜单中，选择您要使用的 VAE 文件。

按顶部的红色大应用设置按钮。您应该看到该消息

Settings: sd_vae applied

加载成功后，在“设置”选项卡中。

下拉菜单中的其他选项有：

• None：使用模型自带的原始VAE。
• Auto：请参阅此帖子了解行为。我不建议初学者使用 Auto，因为很容易混淆使用的是哪个 VAE。

专业提示：如果找不到设置，请单击左侧的“显示所有页面”。所有设置都将显示在一个页面上。使用 Ctrl-F 查找设置。

总结

我们已经介绍了如何使用 Stability AI 发布的两种改进的 VAE 解码器。它们对渲染眼睛提供了微小但显着的改进。您可以决定是否要使用它。