当前位置:   article > 正文

Stable Diffusion 进阶教程 - 二次开发(制作您的文生图应用)_stable diffusion 二次开发

stable diffusion 二次开发

目录

1. 引言

 2. 基于Rest API 开发

 2.1 前置条件

 2.2 代码实现

  2.3 效果演示

  2.4 常见错误

 3. 总结


1. 引言

        Stable Diffusion作为一种强大的文本到图像生成模型,已经在艺术、设计和创意领域引起了广泛的关注和应用。然而,对于许多开发者来说,仅仅使用模型的默认设置可能无法满足特定的需求。因此,二次开发成为了实现个性化定制和性能优化的关键途径。本文将引导读者进入Stable Diffusion的二次开发世界,探索如何通过插件、脚本、API二次来实现更高级的图像生成功能。

        首先有必要对 Stable Diffusion 的插件、脚本、API 做个初步的认识:

        Stable Diffusion的插件通常是一些附加的组件或工具,它们可以集成到Stable Diffusion的主程序中,以提供额外的功能或改进现有功能。

        例如,在上一文中《Stable Diffusion插件安装的3种方法,附4个插件下载地址!-CSDN博客》,提到的,人脸修复插件、OpenPose编辑插件都插件:

GitHub - Bing-su/adetailer: Auto detecting, masking and inpainting with detection model.Auto detecting, masking and inpainting with detection model. - Bing-su/adetailericon-default.png?t=N7T8https://github.com/Bing-su/adetailer.gitGitHub - nonnonstop/sd-webui-3d-open-pose-editor: 3d openpose editor for stable diffusion and controlnet3d openpose editor for stable diffusion and controlnet - nonnonstop/sd-webui-3d-open-pose-editoricon-default.png?t=N7T8https://github.com/nonnonstop/sd-webui-3d-open-pose-editor.git         脚本:则是一系列自动化指令的集合,用于执行特定的任务或操作。通过编写脚本,用户可以自动化一些繁琐或重复性的任务,提高工作效率。在Stable Diffusion中,脚本可能被用于自动化图像生成、参数调整、功能拓展等任务。

        API(应用程序接口)是Stable Diffusion提供的一套强大的接口,本文特指SD以RestFul形式对外提供的接口,用于实现Stable Diffusion的各种功能。API允许开发者或用户通过编程的方式与Stable Diffusion进行交互,从而能够定制和扩展其功能。例如,通过API,用户可以接入Stable Diffusion的功能,将其集成到自己的应用程序或网站中,实现个性化的图像生成和处理。

       通过插件、脚本和API的拓展,它们使得Stable Diffusion更加灵活、高效和易于使用。

       本章主要对基于SD的Rest API开发进行详细介绍,给您一种拓展SD的思路,其他的两种开发方式,可以找对应的插件源码进行分析参考。

 2. 基于Rest API 开发

 2.1 前置条件

        如果需要使用SD的REST API,需要先启用API,启用位置如下图:

启用接口

        启用后,可以访问到SD基于Swagger的接口文档,在浏览器中访问http://127.0.0.1:7860/docs,可以查看非常详细的接口描述,以下是部分接口的截图:

接口文档

        如果您还没有安装SD,可以看看往期文章:

        Stable Diffusion绘图神器,2分钟极速安装教程!(提供安装包)-CSDN博客

  2.2 代码实现

        这里为了方便使用python的gradio进行演示,其实也可以使用其他任何语言来调用REST API,也就是说使用调用Rest API的方式,您可以基于SD使用任何语言来开发您的应用。

  1. import gradio as gr
  2. import json
  3. import requests
  4. import io
  5. import base64
  6. from PIL import Image
  7. # 定义文生图请求
  8. def text_to_image(text):
  9. payload = {
  10. "prompt": text,
  11. "steps": 20
  12. }
  13. url = "http://127.0.0.1:7860";
  14. payload_json = json.dumps(payload)
  15. # 发送POST请求
  16. response = requests.post(url=f'{url}/sdapi/v1/txt2img', data=payload_json).json()
  17. # response 响应包含 images、parameters 和 info,image 可能会含有多个图像 这里只取第一个图像。
  18. image = Image.open(io.BytesIO(base64.b64decode(response['images'][0])))
  19. return image
  20. # 创建Gradio接口实例
  21. iface = gr.Interface(fn=text_to_image,
  22. inputs="text",
  23. outputs="image",
  24. title="Text to Image Generator",
  25. description="Enter some text and see the generated image.")
  26. # 启动交互式Web应用
  27. iface.launch(inline=True) # 使用`inline=True`在Jupyter notebook中运行

         上述代码中,payload 是请求的参数体,可以结合具体的接口参数,传入更多配置参数!

  • 启动程序
后台输出

        启动程序后根据后台输出提示,在浏览器中输入对应地址进行访问,出现如下界: 

启动后的界面

   2.3 效果演示

        在输入框中输入提示词,点击提交按钮,右边就会出现生成的结果。

演示效果

   2.4 常见错误

        如果点击提交按钮出现类似这样的错误:index.js:170     POST http://127.0.0.1:7861/run/predict 422 (Unprocessable Entity) ,根据经验可能是gradio和python的版本不对应。将python的版本切换到python3.8以上可以解决此问题。

 3. 总结

        至此,基于Stable Diffusion 的二次开发已经介绍完毕,在本教程中,提供了详细的代码示例,展示了如何调用SD的API。这些示例旨在为读者提供一个起点,以便在实际应用中进一步探索Stable Diffusion的二次开发潜力。基于Stable Diffusion的二次开发是一个充满挑战和机遇的领域。通过不断地探索和实践,相信您可以创造出更多有趣和实用的应用。

       

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/不正经/article/detail/473259
推荐阅读
相关标签
  

闽ICP备14008679号