赞
踩
InstantID 是一种全新无需微调的最先进方法,它只需要单张图像,即可实现生成新图像的同时保留原图像中的人员身份信息,支持各种后续任务,例如人脸识别、人脸属性分析任务。该项目由小红书团队推出,一经开源就在Github上收获4k+star,连图灵奖得主Yann LeCun也对其表达了认可。
如上图所示,与之前爆火的秒鸭相机至少需要上传20张照片不同的是,InstantID只需一张自拍,即可完成瞬间变身。无论是古典油画的优雅,炫酷的赛博朋克,或是 3D 雕像的立体感,只要是你喜欢的风格,InstantID 都能轻松驾驭。
可惜的是,InstantID对硬件的要求也到了一个新的高度,在发布早期的时候,12G的显存也经常不够用,让大多数玩家只能看着眼馋。好在近日有开发者发布了一款ComfyUI插件,实现了ComfyUI对InstantID的原生支持,并且支持低显存模式,让8G卡也能轻松玩转InstantID工作流。
项目地址:https://github.com/cubiq/ComfyUI_InstantID
使用这个插件,要按照以下步骤:
将仓库克隆到ComfyUI/custom_nodes/文件夹
在python环境中,添加insightface、onnxruntime和onnxruntime-gpu
下载模型:
InsightFace模型,使用的是antelopev2,可以从https://drive.google.com/file/d/18wEUfMNohBJ4K3Ly5wpTejPfDzp-8fI8/view?usp=sharing下载,解压至ComfyUI/models/insightface/models/antelopev2目录。
InstantID的主模型,从https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true下载,放在ComfyUI/models/instantid目录。
controlnet模型,从https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true下载,放在ComfyUI的controlnet目录
注意:stable diffusion的主模型目前只支持SDXL。
如果不想这么麻烦,也可以直接下载整合包,包含上面所描述的所有环境和模型,进入公众号Ryan聊AI,发送InstantID即可获取网盘链接。
完成安装,就可以执行run_nvidia_gpu.bat进行玩耍了,整合包里已经包含了一些示例工作流,点击加载按钮,选择插件安装目录下的examples/InstantID_basic.json,然后按照下图的参数,选择一张照片,就能生成一张漫画风格的自拍啦~
还在等什么呢,快来试试吧。更多高级用法,关注Ryan聊AI,持续为你更新。
附录:
论文地址:https://arxiv.org/abs/2401.07519
InstantID 主页:https://instantid.github.io/
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。