Stable Diffusion 使用

目录

背景

最简单用法

进阶用法

高手用法

safetensor

一、概述

二、主要特点

---

背景

Stable Diffusion 开源后，确实比较火，上次介绍了下 Stable Diffusion 最简单的concept。今天继续介绍下，以Liblib 为例，介绍下如何使用参数及safetensor是什么。

最简单用法

在liblib 上，最简单的用法，莫过于先找到一个你想要的或者你喜欢的风格，比如，我心血来潮，想绘制一幅海底世界图片。找到了一个：

然后直接点开图片，看一看生图信息

像这种生图信息没有，就最好别用，因为一键生图信息，你不知道填什么，当然你已经比较资深了，可以直接选择自己熟悉的。

我们换一张图片：

这个有相关信息，我们直接转到一键填充页：

需要说明的是，当时这个作者应该使用了一个比较低版本的 checkpoint 模型，所以没有展示。点击一键生图后，

你会看到底膜其实是 AWS1.3 算法。 正负提示及其他相关已经给你填好了，直接生成即可。看下生成效果：

我们觉得中间那条鱼体积大了一点，稍微修改下提示词：

HD,ocean sea water,Composition,HD,Photography,seabed,Front view,Clear,sea bottom clear,HD,No fish.,

看下效果：

看到鱼被缩小了，但是还有，至少从构图比例来说，鱼没有那么显眼了。

进阶用法

先加入模型，再点击在线生图

有的下面写了 推荐模型，也就是底膜，没有在底膜模型列表里的要先加进来。

搜索这个模型加入即可。选中模型

加载多个合适的模型

因为底膜采用的有 carton 动漫元素，所以生成整个图形还是比较遵循底膜的设计思想：

提示词：3D,xiariisland,summer theme,summer vibe,foreground blurring,tree,no humans,palm tree,outdoors,scenery,sun,sunlight,cloud,sunny day,sky,beach umbrella,water,reflection,ocean,a large inflatable swimming ring is in the middle,a big swimming pool,waves,sand,beach,green grass,wooden fence,bright lights,vibrant colors,

当然你也可以采用图生图的方式，改变自己的原始图。

高手用法

在上面可以下载safetensor 数据，用到自己部署的 stable diffusion 模型中。这部分下次再讲

safetensor

Safetensors 是由 Hugging Face 开发的一种可靠、易移植的机器学习模型存储格式，旨在简化和优化大型复杂张量的存储和加载过程。

一、概述

Safetensors 结合了高效的序列化和压缩算法，以减少大型张量的大小，并提高其存储和加载的效率。它专为深度学习应用设计，提供了速度、效率、跨平台兼容性、用户友好性和安全性等多方面的优势。

二、主要特点

1. 高效性：
   • 快速加载：Safetensors 通过跳过不必要的CPU拷贝，在常规Linux硬件上的载入速度是PyTorch的2倍。同时，在GPU上的加载速度也有显著提升。
   • 压缩与序列化：使用高效的序列化和压缩算法，减小了大型张量的大小，从而提高了存储和传输的效率。
2. 安全性：
   • 防止恶意代码执行：与传统的模型加载方式相比，Safetensors 通过限制文件头大小和文件地址的覆盖，有效防止了恶意代码的执行。
   • 校验和机制：确保存储在 Safetensors 中的数据准确可靠，防止数据在存储或传输过程中损坏。
3. 易用性：
   • 简单直观的API：Safetensors 提供了简单直观的API，使得在Python中序列化和反序列化张量变得非常容易。同时，它也支持跨平台和多语言加载，如C++、Java和JavaScript等。
   • 懒加载：支持在不加载整个文件的情况下查看文件信息或只加载部分张量，这对于分布式和多节点环境特别有用。
4. 跨平台兼容性：
   • Safetensors 可以在不同的编程语言和平台上无缝共享模型，支持PyTorch、Tensorflow、PaddlePaddle、Flax和Numpy等多种框架。