基于Transformer的多实例学习在弱监督组织病理学图像分割中的应用_transformer mil

Transformer Based Multiple Instance Learning for Weakly Supervised Histopathology Image Segmentation

摘要

提出了一种新的用于组织病理学图像像素级分割的弱监督方法，该方法将Transformer引入MIL框架中，以捕获全局或长程相关性。Transformer中的多头自注意建立了实例之间的关系，解决了MIL中实例相互独立的缺点。此外，引入深度监督，以克服弱监督方法中注释的限制，更好地利用层次信息。在癌症数据集上的心脏状态结果表明，与其他弱监督方法相比，该方法具有优越性。
代码地址

本文方法

在MIL设置下，我们采用Swin Transformer编码器的前三级。在每个阶段，深度监督层都会产生可以被视为预测的副输出。此外，提出了一个融合层，以充分利用所有边输出的多尺度预测。

损失函数

总损失

详细可以看代码

实验结果