医疗版SAM开源！医学影像的通用分割模型来了！

作者：weixin_40725706 | 2024-04-06 19:21:02

踩

sam-med3d

医学影像行业，一直以数据和高成本标注而筑起非常高的领域壁垒,随着近期SAM和SegGPT等通用的CV大模型的提出，大模型和通用模型这把火也逐渐烧到的CV领域，特别是图像分割领域，各式通用医学图像分割模型也随之涌现。

11.16-11.17日，我们邀请到台湾交通大学博士，多篇顶会一作作者，Shawn老师，为我们带来——通用跨模态医学图像分割新SOTA，为我们详解医学图像分割任务。

扫码预约直播（赠老师授课PPT）

免费领导师推荐MICCAI2023热门论文合集

MICCAI2023热门医学影像论文合集

老师介绍：Shawn老师

-台湾交通大学博士

-以第一作者身份发表多篇论文，包括ICLR，ICDE

-获多项校级奖学金，AI竞赛，并与新加坡科技部有合作

-研究方向：深度学习，计算机视觉，音乐生成，多模态

直播大纲

1）对于医学图像分割，如果一个模型只在源域使用MR图像进行训练，它在目标域直接分割CT图像的性能如何?

2）于一般化的医学图像分割任务，使用单个源域来训练模型是非常困难的，如何解决这种情况？

扫码预约直播（赠老师授课PPT）

免费领导师推荐MICCAI2023热门论文合集

对于医学图像分割，想象一下，如果一个模型只在源域使用MR图像进行训练，它在目标域直接分割CT图像的性能如何?这种设置，即可泛化的跨模态分割，具有临床潜力，比其他相关设置，如领域自适应更具挑战性。

对于一般化的医学图像分割任务，使用单个源域来训练模型是非常困难的。不同模式之间的风格偏差会显著降低性能。如下图所示，不同模态的脑肿瘤影响有明显不同的外观，如下图的T1 和 T2。现有的模型往往只在单一模态下表现良好，在另一模态上表现较差，如DeepAll和DoFE方法。

近期，有研究提出了SAM-Med3D，这是一种专门用于3D体素医学图像分割的三维SAM模型。该模型对于不同的解剖结构，如骨骼、心脏和肌肉，在提供有限提示点的情况下，明显优于其他方法。在不同的图像模态下，特别是核磁共振图像，通常需要比CT图像更多的提示点才能达到相同的性能，但SAM-Med3D在各种模态（包括核磁共振图像）、器官和病变下始终表现出色。此外，SAM-Med3D的可迁移性也在不同的基准任务上经过了验证，该模型表现出了很强的潜力，因此SAM-Med3D有望成为一种强大的三维医学图像Transformer的预训练模型。