当前位置:   article > 正文

【Diffusers库】第二篇 快速生成图片_diffuser modelmixin

diffuser modelmixin

写在前面的话

  这是我们研发的用于 消费决策的AI助理 ,我们会持续优化,欢迎体验与反馈。微信扫描二维码,添加即可。
  官方链接:https://ailab.smzdm.com/

************************************************************** 分割线 *******************************************************************

  随着AI技术的发展,模型参数量越来越大,运行效率成了一个问题。在AIGC方面同样有这样的问题 ,本篇文章介绍一些方法,用于提升图像生成的效率。 本篇是以文生图为例子的,图生图同样适用!
  这篇文章的 搬运性质 多一些!哈哈~ 没有梯子的话,就老老实实在这里看吧!

提速的几个条件

  闲话不说,先实例化模型,使用的模型是"runwayml/stable-diffusion-v1-5",这个模型可能要5个G左右。下载起来确实很费事。

from diffusers import DiffusionPipeline
# 实例化对象
model_id = "runwayml/stable-diffusion-v1-5"
pipeline = DiffusionPipeline.from_pretrained(model_id, use_safetensors=True)
  • 1
  • 2
  • 3
  • 4

  本教程将使用的提示词是 “portrait photo of a old warrior chief”,但是你可以随心所欲的想象和构造自己的提示词:

prompt = "portrait photo of a old warrior chief"
  • 1

1. 硬件

  加速推理的最简单方法之一是将 pipeline 放在 GPU 上 ,就像使用任何 PyTorch 模块一样:

import torch

pipeline = pipeline.to("cuda")

# 为确保您可以使用相同的图像并对其进行改进,使用 Generator 方法,然后设置一个随机数种子 以确保其 复现性:
generator = torch.Generator("cuda").manual_seed(0)  

# 生成图像
image = pipeline(prompt, generator=generator).images[0]
image
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

  现在,你可以生成一个图像:
在这里插入图片描述

2. 精度

  在 T4 GPU 上,这个过程大概要30秒(如果你的 GPU 比 T4 好,可能会更快,笔者用的V100所以会快一些)。在默认情况下,DiffusionPipeline 使用完整的 float32 精度进行 50 步推理。你可以通过降低精度(如 float16 )或者减少推理步数来加速整个过程

  让我们把模型的精度降低至 float16 ,提升速度是比较明显的,然后生成一张图像:

import torch

# 实例化对象
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16, use_safetensors=True)
pipeline = pipeline.to("cuda")

# 生成随机种子 
generator = torch.Generator("cuda").manual_seed(0)
image = pipeline(prompt, generator=generator).images[0]
image      
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

在这里插入图片描述

3. 推理步数

  推理步数的调整会涉及到调度器,因为有的调度器可能4步就搞定了,有的调度器可能20步在可以。
  你可以选择一个更高效的调度器 (scheduler) 可以减少推理步数同时保证输出质量。您可以在 [DiffusionPipeline] 中通过调用compatibles方法找到与当前模型兼容的调度器 (scheduler)。

pipeline.scheduler.compatibles
[
    diffusers.schedulers.scheduling_lms_discrete.LMSDiscreteScheduler,
    diffusers.schedulers.scheduling_unipc_multistep.UniPCMultistepScheduler,
    diffusers.schedulers.scheduling_k_dpm_2_discrete.KDPM2DiscreteScheduler,
    diffusers.schedulers.scheduling_deis_multistep.DEISMultistepScheduler,
    diffusers.schedulers.scheduling_euler_discrete.EulerDiscreteScheduler,
    diffusers.schedulers.scheduling_dpmsolver_multistep.DPMSolverMultistepScheduler,
    diffusers.schedulers.scheduling_ddpm.DDPMScheduler,
    diffusers.schedulers.scheduling_dpmsolver_singlestep.DPMSolverSinglestepScheduler,
    diffusers.schedulers.scheduling_k_dpm_2_ancestral_discrete.KDPM2AncestralDiscreteScheduler,
    diffusers.schedulers.scheduling_heun_discrete.HeunDiscreteScheduler,
    diffusers.schedulers.scheduling_pndm.PNDMScheduler,
    diffusers.schedulers.scheduling_euler_ancestral_discrete.EulerAncestralDiscreteScheduler,
    diffusers.schedulers.scheduling_ddim.DDIMScheduler,
]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

  Stable Diffusion 模型默认使用的是 PNDMScheduler ,通常要大概50步推理, 但是像 DPMSolverMultistepScheduler 这样更高效的调度器只要大概 20 或 25 步推理. 使用 ConfigMixin.from_config() 方法加载新的调度器:

from diffusers import DPMSolverMultistepScheduler

pipeline.scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)  
  • 1
  • 2
  • 3

  现在将 num_inference_steps 设置为 20:

generator = torch.Generator("cuda").manual_seed(0)
image = pipeline(prompt, generator=generator, num_inference_steps=20).images[0]
image  
  • 1
  • 2
  • 3

在这里插入图片描述

  太棒了!你成功把推理时间缩短到 4 秒(官方4秒,我的更快)!

3. 内存

  改善 pipeline 性能的另一个关键是减少内存的使用量,这间接意味着速度更快,因为你经常试图最大化每秒生成的图像数量。要想知道你一次可以生成多少张图片,最简单的方法是尝试不同的batch size,直到出现Out Of Memory Error (OOM)。

  创建一个函数,为每一批要生成的图像分配提示词和 Generators 。请务必为每个Generator 分配一个种子,以便于复现良好的结果。

def get_inputs(batch_size=1):
    generator = [torch.Generator("cuda").manual_seed(i) for i in range(batch_size)]
    prompts = batch_size * [prompt]
    num_inference_steps = 20
    return {"prompt": prompts, "generator": generator, "num_inference_steps": num_inference_steps}     
  • 1
  • 2
  • 3
  • 4
  • 5

  设置 batch_size=4 ,然后看一看我们消耗了多少内存:

from diffusers.utils import make_image_grid 

images = pipeline(**get_inputs(batch_size=4)).images
make_image_grid(images, 2, 2)
  • 1
  • 2
  • 3
  • 4

  除非你有一个更大内存的GPU, 否则上述代码会返回 OOM 错误! 大部分内存被 cross-attention 层使用。按顺序运行可以节省大量内存,而不是在批处理中进行。你可以为 pipeline 配置 enable_attention_slicing() 函数:

pipeline.enable_attention_slicing()
  • 1

  现在尝试把 batch_size 增加到 8

images = pipeline(**get_inputs(batch_size=8)).images
make_image_grid(images, rows=2, cols=4)
  • 1
  • 2

  以前你不能一批生成 4 张图片,而现在你可以在一张图片里面生成八张图片而只需要大概3.5秒!这可能是 T4 GPU 在不牺牲质量的情况运行速度最快的一种方法。
在这里插入图片描述

4. 管道组件

随着diffusers库的更新,管道组件也随着丰富,相继推出了一些高效的出图组件,下面介绍一些新的组件

from diffusers import AutoencoderKL

vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", torch_dtype=torch.float16).to("cuda")
pipeline.vae = vae
images = pipeline(**get_inputs(batch_size=8)).images
image_grid(images, rows=2, cols=4)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

在这里插入图片描述

提质的几个条件

1. 模型

  稳定扩散模型是一个很好的开始,自正式发布以来,还发布了几个改进版本。然而,使用更新的版本并不意味着你会得到更好的结果。你仍然需要自己尝试不同的模型,并做一些研究。例如想生成的图形是二次元、真人、场景、科幻、3D风格等等,根据自己想要的风格去选择合适的模型事半功倍。可以去hugging facecivital 网站上去找,里面有很多图像和模型,可以选择。
在这里插入图片描述

  另外,Lora的使用也是可以提升质量的,但他需要训练,也属于模型,所以也放在这里。

2. prompt

  prompt的写法是有讲究的。它属于一个比较庞大的模块。需要花一些时间去学习一下,这里只是简单点一下。推荐去 civital 网站上去看看,网站上的图片有对应的详细参数,其中包括prompt。
  我理解的是prompt 主要包括3个部分:主体、场景、修饰
  主体和场景是根据实际描述,穿插介绍的,修饰词一般放在最后。
在这里插入图片描述
  另外还有一些 起到强调作用的写法, 比如:(被强调词:1.5)。给个例子:
Prompt

masterpiece,professional macro photography, small sprouting  Clover  plant  (symbol of hope, love and faith) in the war zone field,chaotic background, fire,war,  soft bounced lighting, amazing depth of field, shot from a low angle, shot on Lumix GH5 (cinematic bokeh, dynamic range, vibrant colors)
  • 1

Negative prompt

anime, cartoon, deformed, glitch, noisy, low contrast
  • 1

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/443376
推荐阅读
相关标签
  

闽ICP备14008679号