Mamba再下一城！清华提出MamMIL：使用状态空间模型对WSI进行多示例学习

MamMIL：一种用于 WSI 分类的新框架，首次将Mamba(状态空间模型)与 MIL(多示例学习)组合，以更小的内存占用实现SOTA性能！

点击关注 @CVer官方知乎账号，可以第一时间看到最优质、最前沿的CV、AI、AIGC工作~

MamMIL

MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models

单位：清华大学, 哈工大(深圳), 北大

论文：https://arxiv.org/abs/2403.05160

CVPR 2024 论文和开源项目合集请戳—>https://github.com/amusi/CVPR2024-Papers-with-Code

最近，通过将 Transformer 与使用 WSI 的多示例学习 (MIL) 框架相结合，作为癌症诊断黄金标准的病理诊断取得了卓越的性能。 然而，WSI 的 giga-pixel 质对 Transformer 中的二次复杂度自注意力机制在 MIL 中的应用提出了巨大的挑战。现有研究通常使用线性注意力来提高计算效率，但不可避免地带来性能瓶颈。

为了应对这一挑战，我们提出了一种用于 WSI 分类的 MamMIL 框架，首次将选择性结构化状态空间模型（即 Mamba）与 MIL 合作，在保持线性复杂性的同时实现实例依赖关系的建模。

具体来说，为了解决 Mamba 只能进行单向一维 (1D) 序列建模的问题，我们创新性地引入了双向状态空间模型和 2D 上下文感知模块，使 MamMIL 能够学习具有 2D 空间关系的双向实例依赖关系。

主要贡献

实验结果

对两个数据集的实验表明，与基于 Transformer 的最先进的 MIL 框架相比，MamMIL 可以以更小的内存占用实现高级分类性能。 如果被接受，该代码将开源。

现在点击关注@CVer官方知乎账号，可以第一时间看到最优质、最前沿的CV、AI工作~涨点神器、LLM、AIGC(图像/视频/3D生成)、多模态、医学影像、分类、检测、分割、跟踪、扩散、CNN、Transformer、NeRF、3DGS、low-level、自动驾驶、ReID、遥感等方向通通拿下！

CVPR 2024 论文和开源项目合集请戳—>

https://github.com/amusi/CVPR2024-Papers-with-Code