花生_TL007

这个屌丝很懒，什么也没留下！

热门标签

一文教会你用Stable Diffusion做个性化头像丨使用ControlNet插件和IP-Adapter模型_controlnet ip-adapter

作者：花生_TL007 | 2024-05-17 18:01:02

踩

controlnet ip-adapter

来看看这个简单有趣的指南吧，它会教你怎样给自己的头像加点儿创意，使用Stable Diffusion、ControlNet和IP-Adapter塑造风格化的头像，让你的头像更有特色，更有趣。

前置条件
验证ControlNet和IP-Adapter
创建个性化头像
比较不同风格的头像
个性化头像的示例

1. 前置条件

在我们踏上这趟激动人心的面部肖像塑形之旅之前，先来确保你已经准备好了所需的基本条件。下面就是使用ControlNet和IP-Adapter技术的一些关键要求：

ControlNet

开始之前，最重要的一点是您需安装ControlNet扩展，它是我们的核心。

IP-Adapter面部模型

为了有效地传输和操作你的面部特征，你需要一个专为面部设计的IP-Adapter模型。

这个模型在准确展现你的面部表情和特征方面非常关键。下载方式请看文末

注意:safetensors文件需要最新版本的ControlNet才能正常工作。确保您“检查更新”，并重新启动UI以更新ControlNet扩展到最新版本。

IP-Adapter的文件位置

下载“ip-adapter-plus-face_sd15.safetensors”后，您需要把它放到以下文件夹中：

stable-diffusion-webui\extensions\sd-webui-controlnet\models

完成以上这些，为顺畅地创造个性化头像奠定了基础。

2. 验证ControlNet和IP Face Adapter

现在，ControlNet扩展和IP-Adapter模型已成功安装，让我们继续验证它们在Stable Diffusion Web UI中的可见性。切换到“txt2img”或“img2img”选项卡，向下滚动时，您可以看到ControlNet扩展的展开面板。

ControlNet扩展和IP Face Adapter模型

打开此面板并选择“IP-Adapter”控制类型时，请确保可以选择“ip-adapter-plus-face_sd15”模型。

故障排除

如果由于任何原因您没有在选项中找到此模型，您可以尝试两件事:

点击右侧的蓝色刷新图标以更新模型。
如果模型仍然不可见，请仔细检查“ip-adapter-plus-face_sd15”文件的放置位置，以确保其位于第1节中提到的正确文件夹中。

当用户界面上的一切看起来都正确时，我们可以开始创建我们的第一张风格人像照了。让我们试一试!

3. 创建个性化头像

在本节中，我们将深入探讨使用ControlNet画布和IP-Adapter技术创建个性化头像的过程。

让我们执行以下操作:

ControlNet设置

从开始，将您首选的头像（面部的）放在ControlNet的Unit0画布上。
启用ControlNet，选中“Enable”复选框。
启用“Pixel Perfect”。
将“Control Type”选择为“IP-Adapter”。
选择“ip-adapter-plus-face_sd15”模型。
将ControlNet的其余设置保留为默认值。

在我们的初始示例中，我们将以安吉丽娜·朱莉为面部模特。

为了提升效果，创建一个反映传统摄影棚面部肖像的提示。

在这次的尝试中，我们继续采用ToonYou Checkpoint模型用于可爱的卡通效果。下载地址：

https://civitai.com/models/30240/toonyou

样式面部肖像示例

面部肖像提示和设置

正面提示

best quality, beautiful, 30 year old woman, (full face portrait:1.2), face portrait, detailed face, freckles, (facing camera), (looking into the camera), studio portrait, natural lightning, perfect shadows

负面提示:

(worst quality:1.2), (low quality:1.2), (lowres:1.1), (monochrome:1.1), (greyscale), multiple views, comic, sketch, (((bad anatomy))), (((deformed))), (((disfigured))), mutation hands, mutation fingers, extra fingers, missing fingers, watermark

采样步骤: 30
采样器: DPM++ 2M Karras
提示词相关性（CFG Scale）: 7
尺寸: 512x512
模型: ToonYou

调整提示词

您可以根据自己的偏好定制提示词，并对生成的头像进行细微调整。例如，如果我希望安吉丽娜·朱莉有红头发和蓝眼睛，我可以在提示中包含相关关键词来获得所需的结果，如下所示:

调整后的正面提示

best quality, beautiful, 30 year old woman, (red hair:1.2), (ginger hair:1.2), (blue eyes:1.2), (full face portrait:1.2), face portrait, detailed face, freckles, (facing camera), (looking into the camera), studio portrait, natural lightning, perfect shadows

提升头像质量

如果结果没有达到您的预期，您可以使用“Hires.fix”功能增强图像质量。通常，您选择的Checkpoint会提供特定的Upscale设置建议。对于ToonYou Checkpoint，在对图像进行放大时，它建议以下设置:

放大器：R-ESRGAN 4x+ Anime6B
Hires步骤：14
去噪强度：0.35
放大因子：1.5+

利用放大器可以增强图像质量，提供卓越的结果。

现在我们的初始卡通风格面部肖像已经完成，请随意尝试各种Checkpoint以获得独特的风格!

让我们深入研究一些我们最喜欢的Checkpoint，使用XYZ图。

4. 比较不同风格的头像

在本节中，我们通过使用XYZ绘图技术进行视觉探索，比较各种头像的风格。

XYZ绘图脚本

这种XYZ绘图方法作为一种快速有效的工具，用于评估不同的Checkpoint及其对我们初始头像的转换效果的影响。那么，让我们开始绘图吧。

首先，单击“Script”展开面板下的X/Y/Z绘图脚本，打开选项:

选择X/Y/Z绘图后，会出现一个面板，您可以根据需要的比较参数自定义和填充特定设置。现在是我们比较的时候了。

XYZ设置和比较

我们的比较将是不同Checkpoint模型与不同的采样方法的比较。为实现这一点，我们需要以下设置:

将X类型设置为“Checkpoint名称”
在X值处选择要比较的Checkpoint
将Y类型设置为“采样器”
在Y值中选择要比较的采样方法

您可以在下面找到我们的XYZ绘图填写的设置。

您可以灵活地包括其他Checkpoint和采样方法。此外，还可以引入另一个“Z类型”来比较其他参数。然而，对于本教程的目的，我们将按照上述方式保持不变。

比较不同模型

现在，在制作新的个性化头像时，您可以快速确定您首选的样式。

就我个人而言，我会坚持使用 ToonYou Checkpoint，因为我太喜欢这个卡通风格了。

5. 个性化头像的示例

以下是使用ToonYou Checkpoint模型创建的几个头像：

詹妮弗·劳伦斯

艾玛·斯通

结论

总结一下，我们详细了解了如何利用ControlNet扩展和专用IP-Adapter来调整个性化头像。

我们不仅研究了从基本设置到与各种Checkpoint进行的实验，还探讨了将技术与个人风格相结合的创新方法。

XYZ绘图工具的使用大大简化了风格的比较，使我们能快速看到不同样式的效果。

通过灵活调整提示词，不仅赋予了艺术创作自由，也将头像变成了个性化的视觉表达方式。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述