【GitHub项目推荐--AI修图/绘图工具】【转载】_ai绘图github

Lama-Cleaner 

Lama-Cleaner 是一款基于 SOTA AI 模型的图像修复工具，它能够帮助您轻松地从照片中删除不需要的物体、缺陷、人物等，实现高质量的图像修复

github地址：

https://github.com/Sanster/lama-cleaner

国内源代码：

http://www.gitpp.com/pythonking/lama-cleaner

Lama-Cleaner的介绍

Lama-Cleaner 是一款基于 SOTA AI 模型的图像修复工具，它能够帮助您轻松地从照片中删除不需要的物体、缺陷、人物等，实现高质量的图像修复。其核心功能是通过稳定扩散驱动技术擦除并替换照片上的任何内容。

以下是使用 Lama-Cleaner 进行图像修复的基本步骤：

1. 准备照片：首先，选择一张包含需要删除物体的照片。

2. 下载并安装 Lama-Cleaner：根据您的操作系统（如 Windows、macOS 或 Linux）下载相应的安装包，并按照安装向导进行操作。

3. 运行 Lama-Cleaner：打开命令行或终端，运行以下命令以启动 Lama-Cleaner：

   ```

   lama-cleaner --modellama --devicecpu --port8080

   ```

4. 访问 Web 界面：在浏览器中输入 `http://localhost:8080`，访问 Lama-Cleaner 的 Web 界面。

5. 选择模型：在 Web 界面中，选择适用于您的图像修复任务的模型。Lama-Cleaner 提供了多种模型，如基础模型、夜间模式等。

6. 预览和调整：在预览区域查看图像修复效果，根据需要调整参数，如强度、模糊度等。

7. 应用修复：满意预览效果后，点击“应用”按钮，Lama-Cleaner 将开始处理照片。处理完成后，您将获得一个修复后的照片文件。

8. 导出结果：在 Lama-Cleaner 的 Web 界面中，您可以将修复后的照片导出为常见的图像格式（如 JPEG、PNG 等）。

通过以上步骤，您可以使用 Lama-Cleaner 擦除照片中的不需要的物体、缺陷、人物等，得到干净整洁的图像。需要注意的是，Lama-Cleaner 可能无法处理所有类型的图像修复任务，对于复杂的情况，您可能需要尝试多次或使用其他图像处理软件。祝您使用愉快！

lama模型介绍

github地址：             https://github.com/advimman/lama

从上面两张动图可以看出，lama模型可以删除图片上不需要的元素，并且删除后的图片看起来还比较完整

lama模型结构是这样的：

然后看下面这张对比图，它的原理通俗理解类似，先用一张蒙版把原图中不需要的元素覆盖，然后再由AI模型去修复

因为AI模型学习过很多图片的特征，所以它知道这个黑色蒙版下面可能是什么样子，能根据以前学习的内容将黑色部分恢复出来 。

lama-cleaner使用方法

Lama Cleaner 只需两个命令即可轻松使用 SOTA AI 模型：

# In order to use the GPU, install cuda version of pytorch first.
# pip install torch==1.13.1+cu117 torchvision==0.14.1 --extra-index-url https://download.pytorch.org/whl/cu117
pip install lama-cleaner
lama-cleaner --model=lama --device=cpu --port=8080

就是这样，Lama Cleaner 现在正在http://localhost:8080上运行

Lama Cleaner的操作非常简单，即使没有图像处理经验的用户也可以轻松上手。软件界面简洁明了，所有功能均可通过直观的按钮和选项进行操作，无需进行繁琐的设置和调整。

Lama Cleaner 是一款由 SOTA AI 模型驱动的免费开源图像修复工具，具有以下特点和优势：

1. 完全免费且开源：Lama Cleaner 致力于为用户提供免费的图像修复服务，无需支付任何费用。同时，该项目遵循开源原则，允许用户查看、修改和分享代码。

2. 多样化的 AI 模型：Lama Cleaner 内置了多种 SOTA AI 模型，包括擦除模型（如 LaMa、LDM、ZITS、MAT、FcF、Manga）和擦除与替换模型（如稳定扩散、示例绘制）。这些模型可以满足用户在不同场景下的图像修复需求。

3. 支持多种硬件设备：Lama Cleaner 支持 CPU、GPU 和 M1/2 等硬件设备，适应性强，可在各种环境中运行。

4. 易用性：Lama Cleaner 的界面简洁明了，操作方便。用户只需一键安装即可开始使用，无需复杂的学习过程。

5. 跨平台支持：Lama Cleaner 提供了 Windows 一键安装程序和原生 macOS 应用，满足不同用户的操作系统需求。

6. 高效的图像修复：Lama Cleaner 能够快速去除图像中的各种水印、物体、人物、字体等，同时支持老照片修复和文本替换图像内容等功能。

7. 不断更新：Lama Cleaner 的 GitHub 仓库持续更新，表明该项目受到广泛关注和支持。随着 AI 技术的不断发展，Lama Cleaner 将会引入更多先进的模型，提高图像修复效果。

总之，Lama Cleaner 是一款具有丰富功能、易用性强、支持多种硬件设备和平台的图像修复工具，适用于各种场景。其免费开源的特性以及强大的 AI 模型支持使其成为图像修复领域的热门选择。

Lama Cleaner也支持修复老照片，将受损或者老旧的照片恢复成原来的样子，保留历史的记忆。

更多详情官网

github地址：

https://github.com/Sanster/lama-cleaner

StreamDiffusion 

一个为实时图像生成服务设计的开源项目，它基于最新的生成模型技术，旨在提供高性能的图像生成能力

github地址：

https://github.com/cumulo-autumn/StreamDiffusion

项目介绍

StreamDiffusion 是一个为实时图像生成服务设计的开源项目，它基于最新的生成模型技术，旨在提供高性能的图像生成能力。此项目专注于优化扩散模型，使其能够快速生成高质量的图像，并支持多种不同的模型和输出帧率。其背后的技术包括LCM（Latent Diffusion Model）和SDXL Turbo，这些技术的结合使得StreamDiffusion在图像生成领域表现出色。

StreamDiffusion 项目的核心优势在于其高效率，据报道，它能够每秒生成高达110张图像，这对于需要实时生成图像的应用场景来说是一个巨大的进步。此外，StreamDiffusion 不仅仅关注速度，它还通过优化数据处理流程、改进指导机制和提升GPU利用率等多种方式，确保了图像生成的质量。

这个项目对于开发者来说是一个宝贵的资源，因为它提供了一个强大的工具集，使得开发实时图像生成产品变得更加容易。StreamDiffusion 的这些能力，使得它在图像生成社区中受到了广泛的关注，并被视为推动实时图像生成技术发展的重要力量。

主要特征

1. 流批处理

   • 通过高效的批处理操作简化数据处理。

2. 无残差分类器指导

   • 改进的引导机制可最大限度地减少计算冗余。

3. 随机相似性过滤器

   • 通过先进的过滤技术提高GPU利用效率。

4. IO队列

   • 有效管理输入和输出操作，以实现更顺畅的执行。

5. KV-Cache 的预计算

   • 优化缓存策略以加速处理。

6. 模型加速工具

   • 利用各种工具进行模型优化和性能提升。

安装

Step0: 克隆这个存储库

git clone https://github.com/cumulo-autumn/StreamDiffusion.git

Step1：搭建环境

您可以通过 pip、conda 或 Docker 安装 StreamDiffusion（解释如下）。

conda create -n streamdiffusion python=3.10
conda activate streamdiffusion

或者

python -m venv .venv
# Windows
.\.venv\Scripts\activate
# Linux
source .venv/bin/activate

第二步：安装PyTorch

选择适合您的系统的版本。

CUDA 11.8

pip3 install torch==2.1.0 torchvision==0.16.0 xformers --index-url https://download.pytorch.org/whl/cu118

CUDA 12.1

pip3 install torch==2.1.0 torchvision==0.16.0 xformers --index-url https://download.pytorch.org/whl/cu121

详细信息：https: //pytorch.org/

第三步：安装StreamDiffusion

对于用户

安装 StreamDiffusion

#for Latest Version (recommended)
pip install git+https://github.com/cumulo-autumn/StreamDiffusion.git@main#egg=streamdiffusion[tensorrt]


#or


#for Stable Version
pip install streamdiffusion[tensorrt]

安装 TensorRT 扩展

python -m streamdiffusion.tools.install-tensorrt

（仅适用于Windows）如果您安装了稳定版本（ ），您可能需要额外安装pywin32 pip install streamdiffusion[tensorrt]。

pip install --force-reinstall pywin32

以下是 StreamDiffusion 的工作原理的简要概述：

1. 扩散阶段：在这个阶段，模型将一个干净的图像逐渐转换成一个噪声图像。这个过程涉及到在图像上逐步添加噪声，直到图像完全变成随机噪声。这个阶段通常使用一个预先训练好的噪声模型来完成。

2. 去噪阶段：在扩散阶段之后，模型尝试从噪声图像中恢复出干净的图像。这通常通过训练一个去噪模型来完成，该模型学习如何从噪声图像中去除噪声并恢复出原始的干净图像。这个去噪模型可以是基于各种神经网络架构的，例如卷积神经网络（CNN）或变分自编码器（VAE）。

StreamDiffusion 通过优化这两个阶段的模型来实现高效的图像生成。它使用了一些技术，如高效的数据处理管道、优化的神经网络架构、以及针对GPU加速的算法，从而提高了生成图像的速度和质量。

此外，StreamDiffusion 还可能使用了一些特定的技术来进一步提高性能，例如：

 多尺度生成：在不同尺度上生成图像，可以更快地产生细节。

 动态阈值：在生成过程中动态调整噪声阈值，以平衡生成速度和图像质量。

 渐进式采样：在生成过程中逐步增加采样点，以减少计算量并提高效率。

总的来说，StreamDiffusion 通过结合高效的算法和优化的神经网络设计，实现了在实时交互环境中快速生成高质量图像的能力。这使得它在需要实时图像生成的应用场景中非常有用，例如视频游戏、虚拟现实和增强现实应用。

github地址：

https://github.com/cumulo-autumn/StreamDiffusion

thumor   AI 免费、轻松优化图片

thumor 是一项智能成像服务，可实现按需裁剪、调整大小、应用滤镜和优化照片。

github地址：

https://github.com/thumbor/thumbor

国内源代码：

http://www.gitpp.com/pythonking/thumbor

 Thumor的介绍

 Thumor 这个名字很有趣，它结合了 "thumb"（拇指）和 "morph"（变形）两个词，意味着这项服务可以对图像进行各种变形处理。这项智能成像服务确实提供了按需裁剪、调整大小、应用滤镜和优化图像等功能，非常方便用户对图片进行个性化处理。

Thumor 是一款由 AI 驱动的开源照片缩略图服务，它具备强大的图像处理能力。通过AI 驱动的图像处理技术使得 Thumor 能够根据用户的需求和场景智能地调整图片。例如，在制作证件照时，Thumor 可以自动将人脸居中，并调整照片尺寸以符合不同证件的要求；在编辑社交媒体头像时，Thumor 可以智能地优化图片质量，使头像更加清晰、美观。

Thumor 的 AI 技术还具有以下优点：

1. 自动化：AI 可以自动识别并处理图像中的关键区域，如人脸、风景等，确保图片在缩放和裁剪过程中保持高质量。

2. 实时预览：在应用滤镜、调整大小等操作时，Thumor 可以实时预览效果，让用户在操作过程中直观地感受到变化。

3. 智能优化：Thumor 的 AI 技术可以根据图像的特性自动优化图片，提高图像质量，使图片在各种场景下都能保持良好的观赏效果。

4. 开源：作为一款开源项目，Thumor 吸引了众多开发者参与，不断推动项目的更新和完善。这意味着用户可以期待 Thumor 未来带来更多创新功能和更好的用户体验。

总之，Thumor 是一款 AI 驱动的开源照片缩略图服务，它凭借强大的图像处理能力为用户提供了个性化、智能化的图片处理服务。随着人工智能技术的不断进步，Thumor 有望在未来成为智能成像服务领域的领导者。

在我国，类似的智能成像服务有很多，如美图秀秀、PicsArt 等。这些软件为广大用户提供了丰富的图片处理功能，包括滤镜、贴纸、文字、涂鸦等，可以满足大家在日常生活、社交和娱乐等方面的需求。

值得一提的是，随着人工智能技术的发展，这些智能成像服务还在不断升级，未来或能提供更多智能化、个性化的图像处理功能。

 Thumor 是一款由 Globo.com 提供的开源照片缩略图服务。它是一款智能成像服务，可以实现按需裁剪、调整大小、应用滤镜和优化图像等功能。Thumor 可以帮助用户对图片进行个性化处理，满足他们在日常生活、社交和娱乐等方面的需求。

作为一款开源项目，Thumor 吸引了众多开发者和用户的关注。它在全球范围内得到了广泛的部署和使用，为用户提供了便捷、高效的图片处理能力。与此同时，Thumor 项目也在不断发展和完善，以满足不断变化的市场需求和用户期望。

Thumor 是一款实用的开源照片缩略图服务，它为用户提供了一系列丰富的图片处理功能，使得用户可以轻松地对照片进行定制和优化。随着项目的不断推进，Thumor 很有潜力在未来成为智能成像服务领域的佼佼者。

 Thumor 是一款由 AI 驱动的开源照片缩略图服务，其主要应用场景如下：

1. 图片压缩与优化：Thumor 可以自动识别图片中的主要对象，并针对性地进行压缩和优化，使图片在保证质量的前提下，体积更小，加载速度更快。

2. 图片缩略图生成：为网站、应用程序或其他平台生成合适的图片缩略图，提高用户体验。Thumor 可以智能地调整图片尺寸，同时保持图像质量。

3. 图片加水印：为企业、个人或网站添加图片水印，保护图片版权，防止图片被盗用。Thumor 可以根据需求自动调整水印位置、大小和透明度。

4. 图片裁剪与拼接：Thumor 可以智能地裁剪图片，提取所需区域，或将多张图片拼接成一张。这对于图片编辑、设计等领域具有实用价值。

5. 图片增强与处理：通过 AI 技术，Thumor 可以对图片进行智能增强、对比度调整、色彩平衡等处理，使图片更加美观或符合特定场景的需求。

6. 动态图片处理：Thumor 可以处理动态图片（如 GIF、视频截图等），实现图片的实时压缩、优化和转换。

7. 跨平台应用：Thumor 可以轻松集成到各种操作系统、网站和应用程序中，为用户提供便捷的图片处理功能。

8. 人工智能与机器视觉：Thumor 可以与其他 AI 技术和机器视觉应用相结合，实现更多创新性的图像处理场景，如人脸识别、物体检测等。

9. 开发者工具：Thumor 可以作为一款强大的开发者工具，帮助开发者轻松实现图片处理功能，提高项目效率。

10. 教育与培训：Thumor 可以作为图像处理教育的实践工具，帮助学生和开发者掌握图像处理的基本知识和技能。

安装方式

决定您要使用哪个安装选项。

选项 1：点

# thumbor with main dependencies only
pip install thumbor

# thumbor with OpenCV dependency
pip install thumbor[opencv]

# thumbor with all dependencies
pip install thumbor[all]

选项 2：二进制

sudo add-apt-repository ppa:thumbor/ppa
sudo aptitude update
sudo aptitude install thumbor

更多方式请查看安装。

运行它就像点击一样简单：

thumbor

之后，您可以通过https://localhost:8888/unsafe/https://raw.githubusercontent.com/thumbor/thumbor/master/example.jpg访问它

项目名: ImgPilot -- 通过提示词及涂鸦生成图片

Github 开源地址： https://github.com/leptonai/imgpilot

在线地址： https://www.imgpilot.com/

ImgPilot 是一个采用了基于通用大模型、个性化微调以及多模态提示工具的 AI绘图工具。

用户只需提供简单的提示语，即可实时生成精彩画面。

通过实时绘制图像的功能，让普通人也能通过简单的涂鸦创作出 AI 大作。

画一个长发的男孩：

画一个我们的功夫熊猫：

再来一个圣诞老人，必须带礼物，没礼物不要来：

一杯在桌子上的啤酒：

视频演示：

，时长00:54

项目特点：

• 完整的前端和后端代码： 该项目提供了前端和后端的全部代码，使用户能够深入了解并定制整个系统。前端代码涉及用户界面和交互，而后端代码涉及服务器端逻辑和数据处理。

• 本地和云端部署支持： 用户可以选择将系统部署在本地环境，也可以选择在云端进行部署。这种灵活性使项目适用于各种使用场景，无论是个人项目还是大规模商业应用。

• 完全基于开源： 该项目完全基于开源技术和代码，用户可以自由地查看、修改和共享源代码。同时，由于支持商业目的使用，用户可以在满足开源许可协议的前提下将系统集成到商业产品中。

安装：

# 安装前端的 web 依赖npm install
# 安装服务端的依赖pip install -r requirements.txt -U

启动：​​​​​​​

# 服务端启动，访问地址 localhost:8080lep photon run -n imgpilot -m photon/main.py --local
# web 端启动，访问地址 localhost:3000npm run dev

使用的相关项目：

• Lepton AI（AI 服务框架）：https://github.com/leptonai/leptonai

• Excalidraw（前端绘图工具）：https://github.com/excalidraw/excalidraw

• Real-Time-Latent-Consistency-Model（AI 模型）：https://huggingface.co/spaces/radames/Real-Time-Latent-Consistency-Model

原文链接：

一款开源的AI修图工具

AI绘图工具开源，它能够每秒生成高达110张图像

一款免费、开源智能成像服务，可轻松优化照片

免费开源的 AI 绘图工具