【Stable Diffusion初学者指南】如何使用Stable Diffusion_stable diffusion的使用

想学习Stable Diffusion人工智能吗？本初学者指南适用于Stable Diffusion或其他 AI 图像生成器零经验的新手。您将获得Stable Diffusion的概述和一些基本的有用技巧。

这是初学者指南系列的第 1 部分。
阅读第 2 部分：提出良好的提示
阅读第 3 部分：修复
阅读第 4 部分：模型指南

什么是Stable Diffusion

Stable Diffusion AI是一种用于生成 AI 图像的潜在扩散模型。这些图像可以是逼真的，就像相机拍摄的图像一样，也可以是艺术风格的，就像由专业艺术家制作的一样。

最好的部分是它是免费的 - 您可以在您的 PC 上运行它。

如何使用Stable Diffusion

您需要给它一个描述图像的提示。例如：

姜饼屋，西洋镜，焦点，白色背景，烤面包，脆麦片

Stable Diffusion会将这个提示变成如下图所示的图像

您可以从同一提示生成任意数量的变体。

Stable Diffusion有什么好处

还有类似的文本到图像生成服务，例如 DALLE 和 MidJourney。为什么要Stable Diffusion？Stable Diffusion 的优点是：

• 开源：许多爱好者创建了免费的工具和模型。
• 专为低功耗计算机设计：免费或运行成本低廉。

Stable Diffusion 免费吗

在您自己的Windows或Mac计算机上运行时，Stable Diffusion 可以免费使用。在线服务可能会花费您少量的费用，因为有人需要为您提供运行所需的硬件。

Stable Diffusion能做什么

1. 从文本生成图像

Stable Diffusion最基本的用法是文本到图像（txt2img）。以下是您可以使用Stable Diffusion生成的一些图像示例。

动漫风格

写实风格

景观

幻想

艺术风格

2. 从另一个图像生成一个图像

图像到图像 (img2img) 使用Stable Diffusion 将一幅图像转换为另一幅图像。

3. 照片编辑

您可以使用修复来重新生成AI或真实图像的一部分。这与 Photoshop 的新生成填充功能相同，但免费。

4. 制作视频

Stable Diffusion制作视频有两种主要方法：(1) 从文本提示和 (2) 从另一个视频。
Deforum是一种根据文本提示制作视频的流行方法。您可能在社交媒体上见过其中之一。看起来像这样。

第二种方法是使用Stable Diffusion对视频进行风格化。

这是一个更高级的话题。在深入研究之前最好先掌握文本到图像和图像到图像的知识。

如何使用Stable Diffusion人工智能

AUTOMATIC1111 是一个受欢迎的选择，您可以在云上部署Stable Diffusion：
亚马逊云：【全网最简单】基于Amazon EC2 linux快速部署 Stable Diffusion WebUI
阿里云：【阿里云】使用EAS一键部署Stable Diffusion AIGC绘画

如果您有合适的 PC， PC安装了高性能的显卡，在您的 PC 上运行它也是一个不错的选择。你可以在自己的PC上安装秋叶大神的
整合包：Stable Diffusion整合包v4.6发布

如何打造一个好的提示？

要制作一个好的提示，需要学习很多东西。但基本的是尽可能详细地描述你的主题。确保包含强大的关键字来定义样式。

使用提示生成器是学习分步过程和重要关键字的好方法。对于初学者来说，学习一组强大的关键字及其预期效果至关重要。这就像学习新语言的词汇一样。您还可以在这里找到关键字和注释的简短列表。

生成高质量图像的捷径是重用现有提示。前往提示集合，选择您喜欢的图像，然后窃取提示！缺点是您可能不明白为什么它会生成高质量的图像。阅读注释并更改提示即可查看效果。

或者，使用PlaygroundAI等图像收集网站。选择您喜欢的图像并重新混合提示。但这可能就像大海捞针一样寻找高质量的提示。

将提示视为起点。修改以满足您的需求。

构建良好提示的经验法则

两条规则：（1）详细且具体，（2）使用强大的关键词。

详细且具体

尽管人工智能突飞猛进，但Stable Diffusion仍然无法读懂你的想法。您需要尽可能详细地描述您的图像。

假设您想要生成一张街景中的女性照片。简单的提示

街上的一个女人

给你一个像这样的图像：

好吧，您可能不希望生成祖母，但这在技术上符合您的提示。你不能责怪Stable Diffusion…
所以，你应该多写一些。

一位年轻的女士，棕色的眼睛，头发亮点，微笑，穿着时尚的商务休闲装，坐在外面，安静的城市街道，边缘照明

看到巨大的差异。所以，要努力提高你的提示技能！

使用强大的关键字

有些关键字比其他关键字更强大。例子是

名人名字（例如艾玛·沃特森）
艺术家姓名（例如梵高）
艺术媒介（例如插图、绘画、照片）

仔细使用它们可以将图像引导到您想要的方向。
想作弊吗？就像做作业一样，您可以使用ChatGPT来生成提示！

这些参数是什么？我应该更改它们吗？

Stable Diffusion允许您更改一组有限的参数。以下是一些重要的内容：

Image size：输出图像的尺寸。标准尺寸为512×512像素。将其更改为纵向或横向尺寸会对图像产生很大影响。例如，使用肖像尺寸生成全身图像。
Sampling steps：至少使用 20 个步骤。如果您看到模糊的图像，请增加。
CFG scale：典型值为 7。如果您希望图像更多地遵循提示，请增加值。
Seed value：-1 生成随机图像。如果您想要相同的图像，请指定一个值。

我应该生成多少张图像？

在测试提示时，您应该始终生成多个图像。
当对提示进行较大更改时，我会一次生成 2-4 个图像，以便加快搜索速度。当进行小的更改以增加看到可用内容的机会时，我会一次生成 4 个。

有些提示只能在一半或更少的时间内起作用。因此，不要根据一张图像就取消提示。

修复图像缺陷的常见方法

当你看到社交媒体上分享的令人惊叹的人工智能图像时，它们很可能经过了一系列的后处理步骤。我们将在本节中讨论其中的一些内容。

面部修复

左：原始图像。右：面部修复后。

在 AI 艺术家社区中众所周知，Stable Diffusion不擅长生成面部。很多时候，生成的面孔存在伪影。

我们经常使用额外的工具来恢复人脸的图像 AI 模型，例如CodeFormer、VAE

通过修复修复小瑕疵

第一次尝试很难获得您想要的图像。更好的方法是生成具有良好构图的图像。然后用修补法修复缺陷。

下面是修复之前和之后的图像示例。使用原始修复提示在 90% 的情况下都有效。

左：有缺陷的原始图像。右：面部和手臂通过修补固定。

什么是定制模型？

Stability AI及其合作伙伴发布的官方模型称为基础模型。基本模型的一些示例包括Stable Diffusion 1.4、1.5、2.0和2.1 。

自定义模型是根据基本模型进行训练的。目前，大多数模型都是从 v1.4 或 v1.5 开始训练的。他们接受额外数据的训练，以生成特定样式或对象的图像。

对于定制模型而言，只有天空才是极限。它可以是动漫风格、迪士尼风格或另一个AI的风格。你说出它的名字。

以下是 5 种不同型号的比较。

我应该使用哪种型号？

如果您刚开始，请坚持使用基本模型。有很多值得学习和玩耍的东西，可以让你忙上几个月。

Stable Diffusion 的三个主要版本是 v1、v2 和 Stable Diffusion XL (SDXL)。
v1 型号为 1.4 和 1.5。
v2 型号为 2.0 和 2.1。
SDXL 1.0

您可能认为应该从较新的 v2 型号开始。人们仍在试图弄清楚如何使用 v2 模型。v2 的图像不一定比 v1 的图像好。

发布了一系列SDXL模型：SDXL beta、SDXL 0.9和最新的SDXL 1.0。

如果您是Stable Diffusion的新手，我建议您使用v1.5和 SDXL 1.0 模型。

如何训练新模型？

使用Stable Diffusion的优点是您可以完全控制模型。如果您愿意，您可以创建具有独特风格的自己的模型。训练模型的两种主要方法：（1）Dreambooth和（2）embedding.

Dreambooth被认为更强大，因为它微调了整个模型的重量。嵌入使模型保持不变，但找到描述新主题或风格的关键字。

负面提示

您在提示中输入您想看到的内容。你把你不想看到的东西放在否定提示中。并非所有Stable Diffusion 模型都支持负面提示。但它对于 v1 模型来说很有价值，对于 v2 模型来说是必须的。对于初学者来说，使用通用的否定提示并没有什么坏处。

如何控制构图？

Stable Diffusion技术正在迅速改进。有几种方法。

图像到图像

您可以要求Stable Diffusion在生成新图像时大致跟随输入图像。这称为图像到图像。下面是使用鹰的输入图像生成龙的示例。输出图像的组成遵循输入。

左：输入图像。右：输出图像。

控制网

ControlNet类似地使用输入图像来指导输出。但它可以提取特定信息，例如人体姿势。下面是使用 ControlNet 从输入图像复制人体姿势的示例。

左：输入图像。右：输出图像。

除了人体姿势之外，ControlNet 还可以提取其他信息，例如轮廓。

后续

如果还有Stable Diffusion相关的问题，可以联系我+v：popai4520，看能否帮助到你

这是初学者指南系列的第 1 部分。
阅读第 2 部分：提出良好的提示
阅读第 3 部分：修复
阅读第 4 部分：模型指南