【深度学习】COntorlNet，[1.1.428] IP-Adapter FaceID

https://github.com/Mikubill/sd-webui-controlnet/discussions/2442

[1.1.428] IP-Adapter FaceID #2442
huchenlei 在综合讨论区发起了这个对话
[1.1.428] IP-Adapter FaceID
#2442
@huchenlei
huchenlei
1月10日 · 33条评论 · 57条回复
返回顶部

huchenlei
1月10日
协作者
更新 2024-01-24
SDXL FaceID Plus v2 已添加到模型列表中。您无需进行任何代码更改即可使用它。

IP-Adapter FaceID
IP-Adapter FaceID 提供了一种从图像中提取仅面部特征并将其应用于生成图像的方法。请按照指南尝试此新功能。

安装 insightface
FaceID 需要 insightface，您需要在您的 A1111 虚拟环境中安装它们。有关帮助，请查看此 ComfyUI 问题。

总之，从源代码构建 insightface 需要编译一些 C++ 代码，原则上应在此仓库中尽量避免这样做。请参见 #1875。本 PR 的解决方法是为最大用户群（Windows amd64 用户）下载预构建的 wheel 文件。其他用户需要通过运行 pip install insightface 从源代码构建。

模型
下表显示了每个 FaceID IPAdapter 模型应使用的检查点和预处理器的组合。任何张量大小不匹配可能是由于组合错误引起的。

SD 版本 IPadapter 预处理器 LoRA
v1.5 FaceID ip-adapter_face_id FaceID LoRA
v1.5 FaceID Plus ip-adapter_face_id_plus FaceID Plus LoRA
v1.5 FaceID Plus v2 ip-adapter_face_id_plus FaceID Plus v2 LoRA
SDXL FaceID SDXL ip-adapter_face_id FaceID SDXL LoRA
SDXL FaceID Plus v2 SDXL ip-adapter_face_id_plus FaceID Plus v2 SDXL LoRA
建议在生成时以 0.5 ~ 0.7 的权重加载相应的 LoRA。

使用方法
步骤1：加载 LoRA

步骤2：配置 ControlNet。选择预处理器和模型。

步骤3：生成
面部输入：
图像
输出：
图像

接下来的步骤
请评论以下项目中哪些应该/不应该实施。谢谢！

自动应用相应的 LoRA
卸载 insightface 模型。（是否有必要？我们已经在 CPU 上运行 insightface）
IPAdapter 使用文档
在选择预处理器/模型时自动选择
注意事项
IP-Adapter FaceID 实现目前仅提取图像中检测到的第一个面部的特征。