赞
踩
这是我们研发的用于 消费决策的AI助理 ,我们会持续优化,欢迎体验与反馈。微信扫描二维码,添加即可。
官方链接:https://ailab.smzdm.com/
************************************************************** 分割线 *******************************************************************
随着AI技术的发展,模型参数量越来越大,运行效率成了一个问题。在AIGC方面同样有这样的问题 ,本篇文章介绍一些方法,用于提升图像生成的效率。 本篇是以文生图为例子的,图生图同样适用!
这篇文章的 搬运性质 多一些!哈哈~ 没有梯子的话,就老老实实在这里看吧!
闲话不说,先实例化模型,使用的模型是"runwayml/stable-diffusion-v1-5",这个模型可能要5个G左右。下载起来确实很费事。
from diffusers import DiffusionPipeline
# 实例化对象
model_id = "runwayml/stable-diffusion-v1-5"
pipeline = DiffusionPipeline.from_pretrained(model_id, use_safetensors=True)
本教程将使用的提示词是 “portrait photo of a old warrior chief”,但是你可以随心所欲的想象和构造自己的提示词:
prompt = "portrait photo of a old warrior chief"
加速推理的最简单方法之一是将 pipeline 放在 GPU 上 ,就像使用任何 PyTorch 模块一样:
import torch
pipeline = pipeline.to("cuda")
# 为确保您可以使用相同的图像并对其进行改进,使用 Generator 方法,然后设置一个随机数种子 以确保其 复现性:
generator = torch.Generator("cuda").manual_seed(0)
# 生成图像
image = pipeline(prompt, generator=generator).images[0]
image
现在,你可以生成一个图像:
在 T4 GPU 上,这个过程大概要30秒(如果你的 GPU 比 T4 好,可能会更快,笔者用的V100所以会快一些)。在默认情况下,DiffusionPipeline 使用完整的 float32 精度进行 50 步推理。你可以通过降低精度(如 float16 )或者减少推理步数来加速整个过程
让我们把模型的精度降低至 float16 ,提升速度是比较明显的,然后生成一张图像:
import torch
# 实例化对象
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16, use_safetensors=True)
pipeline = pipeline.to("cuda")
# 生成随机种子
generator = torch.Generator("cuda").manual_seed(0)
image = pipeline(prompt, generator=generator).images[0]
image
推理步数的调整会涉及到调度器,因为有的调度器可能4步就搞定了,有的调度器可能20步在可以。
你可以选择一个更高效的调度器 (scheduler) 可以减少推理步数同时保证输出质量。您可以在 [DiffusionPipeline] 中通过调用compatibles方法找到与当前模型兼容的调度器 (scheduler)。
pipeline.scheduler.compatibles [ diffusers.schedulers.scheduling_lms_discrete.LMSDiscreteScheduler, diffusers.schedulers.scheduling_unipc_multistep.UniPCMultistepScheduler, diffusers.schedulers.scheduling_k_dpm_2_discrete.KDPM2DiscreteScheduler, diffusers.schedulers.scheduling_deis_multistep.DEISMultistepScheduler, diffusers.schedulers.scheduling_euler_discrete.EulerDiscreteScheduler, diffusers.schedulers.scheduling_dpmsolver_multistep.DPMSolverMultistepScheduler, diffusers.schedulers.scheduling_ddpm.DDPMScheduler, diffusers.schedulers.scheduling_dpmsolver_singlestep.DPMSolverSinglestepScheduler, diffusers.schedulers.scheduling_k_dpm_2_ancestral_discrete.KDPM2AncestralDiscreteScheduler, diffusers.schedulers.scheduling_heun_discrete.HeunDiscreteScheduler, diffusers.schedulers.scheduling_pndm.PNDMScheduler, diffusers.schedulers.scheduling_euler_ancestral_discrete.EulerAncestralDiscreteScheduler, diffusers.schedulers.scheduling_ddim.DDIMScheduler, ]
Stable Diffusion 模型默认使用的是 PNDMScheduler ,通常要大概50步推理, 但是像 DPMSolverMultistepScheduler 这样更高效的调度器只要大概 20 或 25 步推理. 使用 ConfigMixin.from_config() 方法加载新的调度器:
from diffusers import DPMSolverMultistepScheduler
pipeline.scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)
现在将 num_inference_steps 设置为 20:
generator = torch.Generator("cuda").manual_seed(0)
image = pipeline(prompt, generator=generator, num_inference_steps=20).images[0]
image
太棒了!你成功把推理时间缩短到 4 秒(官方4秒,我的更快)!
改善 pipeline 性能的另一个关键是减少内存的使用量,这间接意味着速度更快,因为你经常试图最大化每秒生成的图像数量。要想知道你一次可以生成多少张图片,最简单的方法是尝试不同的batch size,直到出现Out Of Memory Error (OOM)。
创建一个函数,为每一批要生成的图像分配提示词和 Generators 。请务必为每个Generator 分配一个种子,以便于复现良好的结果。
def get_inputs(batch_size=1):
generator = [torch.Generator("cuda").manual_seed(i) for i in range(batch_size)]
prompts = batch_size * [prompt]
num_inference_steps = 20
return {"prompt": prompts, "generator": generator, "num_inference_steps": num_inference_steps}
设置 batch_size=4 ,然后看一看我们消耗了多少内存:
from diffusers.utils import make_image_grid
images = pipeline(**get_inputs(batch_size=4)).images
make_image_grid(images, 2, 2)
除非你有一个更大内存的GPU, 否则上述代码会返回 OOM 错误! 大部分内存被 cross-attention 层使用。按顺序运行可以节省大量内存,而不是在批处理中进行。你可以为 pipeline 配置 enable_attention_slicing() 函数:
pipeline.enable_attention_slicing()
现在尝试把 batch_size 增加到 8
images = pipeline(**get_inputs(batch_size=8)).images
make_image_grid(images, rows=2, cols=4)
以前你不能一批生成 4 张图片,而现在你可以在一张图片里面生成八张图片而只需要大概3.5秒!这可能是 T4 GPU 在不牺牲质量的情况运行速度最快的一种方法。
随着diffusers库的更新,管道组件也随着丰富,相继推出了一些高效的出图组件,下面介绍一些新的组件
from diffusers import AutoencoderKL
vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", torch_dtype=torch.float16).to("cuda")
pipeline.vae = vae
images = pipeline(**get_inputs(batch_size=8)).images
image_grid(images, rows=2, cols=4)
稳定扩散模型是一个很好的开始,自正式发布以来,还发布了几个改进版本。然而,使用更新的版本并不意味着你会得到更好的结果。你仍然需要自己尝试不同的模型,并做一些研究。例如想生成的图形是二次元、真人、场景、科幻、3D风格等等,根据自己想要的风格去选择合适的模型事半功倍。可以去hugging face 和 civital 网站上去找,里面有很多图像和模型,可以选择。
另外,Lora的使用也是可以提升质量的,但他需要训练,也属于模型,所以也放在这里。
prompt的写法是有讲究的。它属于一个比较庞大的模块。需要花一些时间去学习一下,这里只是简单点一下。推荐去 civital 网站上去看看,网站上的图片有对应的详细参数,其中包括prompt。
我理解的是prompt 主要包括3个部分:主体、场景、修饰。
主体和场景是根据实际描述,穿插介绍的,修饰词一般放在最后。
另外还有一些 起到强调作用的写法, 比如:(被强调词:1.5)。给个例子:
Prompt
masterpiece,professional macro photography, small sprouting Clover plant (symbol of hope, love and faith) in the war zone field,chaotic background, fire,war, soft bounced lighting, amazing depth of field, shot from a low angle, shot on Lumix GH5 (cinematic bokeh, dynamic range, vibrant colors)
Negative prompt
anime, cartoon, deformed, glitch, noisy, low contrast
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。