Inpaint Anything：一键进行多种图像修补

Inpaint Anything

通过一键点击标记选定对象，即可实现移除指定对象、填补指定对象、替换一切场景，涵盖了包括目标移除、目标填充、背景替换等在内的多种典型图像修补应用场景。

它的整体框架如图所示：

Inpaint Anything 工作原理

Inpaint Anything 结合了 SAM、图像修补模型（例如 LaMa）和 AIGC 模型（例如 Stable Diffusion）等视觉基础模型。

• SAM（Segment Anything Model）可以通过点或框等输入提示生成高质量的对象分割区域，实现指定目标的分割。更多相关的介绍可以参考。
• 图像修补模型 LaMa，则能够在高分辨率图像的情况下，随意删除图像中的各种元素。模型的主要架构如下图所示。包含一个 mask 的黑白图，一张原始图像。将掩码图覆盖图像后输入 Inpainting 网络中，先是降采样到低分辨率，再经过几个快速傅里叶卷积 FFC 残差块，最后输出上采样，生成了一张高分辨的修复图像。

• AIGC 模型 Stable Diffusion，则只要简单的输入一段文本，Stable Diffusion 就可以迅速将其转换为图像。更多相关的介绍可以参考 。

将三个模型结合到一起，我们可以做出很多的功能。本文就实现了在图片 / 视频中移除一切物体、在图片中填充一切物体和在图片中替换一切背景这三种功能，其具体实现步骤如下：

以下为具体通过 ModelArts 实现 Inpaint Anything 的流程。

Inpaint Anything 适配 ModelArts

使用方法：