当前位置:   article > 正文

ComfyUI里的#Textual Inversion Embeddings

comfyui embedding

d0a7d4ddce855838e3e739f9bfa8c8d2.png

图引自论文 An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

Textual Inversion Embeddings

文本反转,英文是Textual Inversion,来源于论文《An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion》

https://arxiv.org/pdf/2208.01618.pdf

该论文提出了文本反转的方法,通过仅使用 3-5 张图像来学习,让扩散模型冻结嵌入空间中的“新单词”。

在ComfyUI里文本反转称为Textual Inversion Embeddings,我们常说的Embeddings指的就是通过文本反转训练而成的模型,模型放置在models/embeddings下,在ComfyUI里可以通过以下语法使用 Embeddings 里的模型 :

embedding:SDA768.pt

embedding:SDA768

和文本提示一样,可以给提示调整权重:

(embedding:SDA768:1.2)

插件comfyui-mixlab-nodes实现了一个自定义节点:EmbeddingPrompt,通过选项直接选择embeddings目录下的模型,同时支持滑动条调整权重后作为文本提示输出。

5800df5468ff3e5348fab47096022b5d.png

插件地址:https://github.com/shadowcz007/comfyui-mixlab-nodes

文本反转常用的模型有调色板、反向提示、风格类等等。介绍一种颜色调色板的Embeddings:color-palettes。通过搭建一个工作流,实现快速对比不同的颜色Embeddings的差异。

bb59ce3af85d3bfa4b3315c3ccf197d2.png

d7802970dcd1cc790ed98241646b14f5.png

其中反向提示,英文常称为Negative embed,可以使用嵌入模型代替一长串的文本提示,提高日常创作效率。

例子:

使用Negative embed:negative-embed-Beyondv4-neg.pt

代替以下文本:

(((NSFW))), (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)),

((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21),

(mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21),

(bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331),

(fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331),

lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

__

本文涉及到的工作流已更新到知识星球

5bd5b74dfd3fd2b99f4336bdcdec9e70.png

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/604213
推荐阅读
相关标签
  

闽ICP备14008679号