【深度学习】sdxl中的 text_encoder text_encoder_2 区别_sdxl text encoder

镜像问题是：https://qq742971636.blog.csdn.net/article/details/135867689

代码仓库：

https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main

截图：

为什么有两个CLIP编码器 text_encoder 和 text_encoder_2 ？

在仔细阅读这些代码后，我们了解到 text_encoder_2 主要是用于 refiner 模型的。

        if 'clip' in self.stages:
            subfolder = 'text_encoder'
            self.models['clip'] = CLIPModel(**models_args, embedding_dim=get_clip_embedding_dim(self.version, self.pipeline_type), output_hidden_states=self.config.get('clip_hidden_states', False), subfolder=subfolder)

        if 'clip2' in self.stages:
            subfolder = 'text_encoder_2'
            self.models['clip2'] = CLIPWithProjModel(**models_args, output_hidden_states=self.config.get('clip_hidden_states', False), subfolder=subfolder)

1
2
3
4
5
6
7
8