MedSAM: Segment Anything in Medical Images

MedSAM: Segment Anything in Medical Images

目录

• 前言

• SAM 拆解分析

• 从医学角度理解 SAM 的效用

• MedSAM

• 实验

• 总结

• 参考

本文首发于 GiantPandaCV，未经允许不得转载！！

前言

SAM 是一种在自然图像分割方面取得成功的模型，但在医学图像分割方面表现不佳。MedSAM 首次尝试将 SAM 的成功扩展到医学图像，并成为用于分割各种医学图像的通用工具。为了开发 MedSAM，首先需要一个大型医学图像数据集，其中包括来自 11 种不同模态的超过 20 万个 Mask。该数据集用于训练和微调 MedSAM 模型。最重要的是，提供了一种简单的微调方法，使 SAM 适应一般的医学图像分割。

通过对 21 项三维分割任务和 9 项二维分割任务进行综合实验，对 MedSAM 的性能进行了评估。结果显示，在三维和二维分段任务中，MedSAM 的表现优于默认的 SAM 模型。为了方便理解 MedSAM，下面先来看下 SAM 的流程。

SAM 拆解分析

基础模型有很强的泛化能力，这种能力通过提示工程（prompt engineering）实现，想要实现提示分割任务，需要解决三个问题：任务目标、模型结构和