当前位置:   article > 正文

低显存的福音!8G显存玩转InstantID(附整合包)_instantid需要多大显存才能跑起来

instantid需要多大显存才能跑起来

InstantID 是一种全新无需微调的最先进方法,它只需要单张图像,即可实现生成新图像的同时保留原图像中的人员身份信息,支持各种后续任务,例如人脸识别、人脸属性分析任务。该项目由小红书团队推出,一经开源就在Github上收获4k+star,连图灵奖得主Yann LeCun也对其表达了认可。

如上图所示,与之前爆火的秒鸭相机至少需要上传20张照片不同的是,InstantID只需一张自拍,即可完成瞬间变身。无论是古典油画的优雅,炫酷的赛博朋克,或是 3D 雕像的立体感,只要是你喜欢的风格,InstantID 都能轻松驾驭。

可惜的是,InstantID对硬件的要求也到了一个新的高度,在发布早期的时候,12G的显存也经常不够用,让大多数玩家只能看着眼馋。好在近日有开发者发布了一款ComfyUI插件,实现了ComfyUI对InstantID的原生支持,并且支持低显存模式,让8G卡也能轻松玩转InstantID工作流。

项目地址:https://github.com/cubiq/ComfyUI_InstantID

使用这个插件,要按照以下步骤:

  • 将仓库克隆到ComfyUI/custom_nodes/文件夹

  • 在python环境中,添加insightface、onnxruntime和onnxruntime-gpu

  • 下载模型:

    1. InsightFace模型,使用的是antelopev2,可以从https://drive.google.com/file/d/18wEUfMNohBJ4K3Ly5wpTejPfDzp-8fI8/view?usp=sharing下载,解压至ComfyUI/models/insightface/models/antelopev2目录。

    2. InstantID的主模型,从https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true下载,放在ComfyUI/models/instantid目录。

    3. controlnet模型,从https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true下载,放在ComfyUI的controlnet目录

注意:stable diffusion的主模型目前只支持SDXL。

如果不想这么麻烦,也可以直接下载整合包,包含上面所描述的所有环境和模型,进入公众号Ryan聊AI,发送InstantID即可获取网盘链接。

完成安装,就可以执行run_nvidia_gpu.bat进行玩耍了,整合包里已经包含了一些示例工作流,点击加载按钮,选择插件安装目录下的examples/InstantID_basic.json,然后按照下图的参数,选择一张照片,就能生成一张漫画风格的自拍啦~

还在等什么呢,快来试试吧。更多高级用法,关注Ryan聊AI,持续为你更新。

附录:

  • 论文地址:https://arxiv.org/abs/2401.07519

  • InstantID 主页:https://instantid.github.io/

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/472036
推荐阅读
相关标签
  

闽ICP备14008679号