当前位置:   article > 正文

AI作画升级!一键帮你用Stable Diffusion 生成无限缩放效果视频_stable-diffusion-2-inpainting

stable-diffusion-2-inpainting

这一篇文章中,我们介绍了利用OpenVINO™优化和加速Stable Diffusion模型的推理,在英特尔®独立显卡上能够根据我们输入的指令(prompt),快速生成我们喜爱的AI画作。今天,我们对这一应用场景再次升级,除了能够作画,利用OpenVINO对Stable Diffusion v2模型的支持及优化,我们还能够在在英特尔®独立显卡上快速生成带有无限缩放效果的视频,使得AI作画的效果更具动感,其效果也更加震撼。话不多说,接下来还是让我们来划划重点,看看具体是怎么实现的吧。 

本次无限缩放Stable Diffusion v2视频生成的全部代码请戳这里openvino_notebooks/236-stable-diffusion-v2-infinite-zoom.ipynb at main · openvinotoolkit/openvino_notebooks · GitHub OpenVINO Notebooks运行环境的安装请您参考我们的上一篇AI作画博客 

此次我们应用的深度学习模型是Stable Diffusion v2模型,相比它的上一代v1模型,它具有一系列新特性,包括配备了一个新的鲁棒编码器OpenCLIP,由LAION创建,并得到了Stability AI的帮助,与V1版本相比,此版本显著增强了生成的照片。另外,v2模型在之前的模型基础上增加了一个更新的修复模块(inpainting)。这种文本引导的修复使切换图像中的部分比以前更容易。也正是基于这一新特性,我们可以利用stabilityai/stable-diffusion-2-inpainting模型,生成带有无限缩放效果的视频。 

在图像编辑中,Inpainting是一个恢复图片缺失部分的过程。最常用于重建旧的退化图像,从照片中去除裂纹、划痕、灰尘斑点或红眼。但凭借AI和Stable Diffusion模型的力量,Inpainting可以实现更多的功能。例如,它可以用来在现有图片的任何部分渲染全新的东西,而不仅仅是恢复图像中缺失的部分。只要发挥你的想象力,你可以做出更多炫酷效果的作品来。 

下面的工作流程图解释了用于Inpainting的Stable Diffusion inpainting流水线是如何工作的:

在此次的代码示例中,我们将完成以下几个步骤: 

  1. 将PyTorch 模型转换为ONNX格式。 

  1. 利用Model Optimizer 工具,将ONNX 模型转换为OpenVINO IR 格式。 

  1. 运行Stable Diffusion v2 inpainting 流水线,生成无限缩放效果视频。 

现在,让我们来重点来看看如何配置推理流水线的代码。 

这里主要分以下三个步骤: 

  1. 在推理的硬件设备上加载模型Load models on device 

  1. 配置分词器和调度器Configure tokenizer and scheduler 

  1. 创建OvStableDiffusionInpaintingPipeline 类的示例 

我们在配备英特尔锐炫™独立显卡的机器上加载模型并运行推理,因此推理设备我们选择“GPU”。默认情况下,它使用“ AUTO”,并会自动切换至检测到的 GPU。代码如下: 

  1. from openvino.runtime import Core
  2. core = Core()
  3. tokenizer = CLIPTokenizer.from_pretrained('openai/clip-vit-large-patch14')
  4. text_enc_inpaint = core.compile_model(TEXT_ENCODER_OV_PATH_INPAINT, "GPU")
  5. unet_model_inpaint = core.compile_model(UNET_OV_PATH_INPAINT, " GPU ")
  6. vae_decoder_inpaint = core.compile_model(VAE_DECODER_OV_PATH_INPAINT, "GPU")
  7. vae_encoder_inpaint = core.compile_model(VAE_ENCODER_OV_PATH_INPAINT, "GPU")
  8. ov_pipe_inpaint = OVStableDiffusionInpaintingPipeline(
  9.     tokenizer=tokenizer,
  10.     text_encoder=text_enc_inpaint,
  11.     unet=unet_model_inpaint,
  12.     vae_encoder=vae_encoder_inpaint,
  13.     vae_decoder=vae_decoder_inpaint,
  14.     scheduler=scheduler_inpaint,
  15. )

  

 接下来,我们输入文本提示,运行视频生成的代码吧。

  1. import ipywidgets as widgets
  2. zoom_prompt = widgets.Textarea(value="valley in the Alps at sunset, epic vista, beautiful landscape, 4k, 8k", description='positive prompt', layout=widgets.Layout(width="auto"))
  3. zoom_negative_prompt = widgets.Textarea(value="lurry, bad art, blurred, text, watermark", description='negative prompt', layout=widgets.Layout(width="auto"))
  4. zoom_num_steps = widgets.IntSlider(min=1, max=50, value=20, description='steps:')
  5. zoom_num_frames = widgets.IntSlider(min=1, max=50, value=3, description='frames:')
  6. mask_width = widgets.IntSlider(min=32, max=256, value=128, description='edge size:')
  7. zoom_seed = widgets.IntSlider(min=0, max=10000000, description='seed: ', value=9999)
  8. zoom_in = widgets.Checkbox(
  9.     value=False,
  10.     description='zoom in',
  11.     disabled=False
  12. )
  13. widgets.VBox([zoom_prompt, zoom_negative_prompt, zoom_seed, zoom_num_steps, zoom_num_frames, mask_width, zoom_in])

在这一步中,我把步骤设置为 20。理想情况下,我将使用 50,以提供最好看的结果。另外,这里还可以自行设置生成的图画数量,所有生成的图画将组合起来构成最后的无限缩放效果视频。当然,我们同样还生成了 GIF 文件,以便大家多种形式可视化展示生成结果。 

最终结果。 

stable_diffusion_video

总结


当下,如果您想了解“Stable Diffusion”的工作原理,以及英特尔硬件的加速方式,OpenVINO Notebooks 无疑是首选。如果您有任何疑问或想要展示您的一些最佳成果,请在下方评论或通过我们的 GitHub 讨论板发表评论! 祝大家编码快乐啦。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Li_阴宅/article/detail/757733
推荐阅读
相关标签
  

闽ICP备14008679号