[深度学习论文笔记]Multimodal CNN Networks for Brain Tumor Segmentation in MRI_category guided attention network for brain tumor

Multimodal CNN Networks for Brain Tumor Segmentation in MRI: A BraTS 2022 Challenge Solution

MRI中用于脑肿瘤分割的多模态CNN网络:BraTS 2022挑战解决方案
Author: Ramy A. Zeineldin, Mohamed E. Karar, Oliver Burgert, Franziska MathisUllrich
Unit: Reutlingen University
Comments: Accepted in BraTS 2022

论文:https://arxiv.org/abs/2212.09310
docker image:https://hub.docker.com/r/razeineldin/camed22

1.问题动机

  神经胶质瘤是最常见的肿瘤类型，起源于大脑的支持组织，称为神经胶质细胞。胶质瘤的诊断通常具有挑战性，因为其侵袭性、极端异质性、发生在大脑任何部位的能力，以及其不同形状和大小的子区域，包括增强性肿瘤(ET)、瘤周水肿(ED)和坏死和非增强性肿瘤核心(NET)。
  人工分割胶质瘤是在医学成像扫描(如磁共振成像(MRI)扫描[3])上手动识别和勾画胶质瘤范围的过程。这通常是由训练有素的医疗专业人员完成的，例如，放射科医生。人工胶质瘤分割的主要挑战之一是其耗时和劳动密集型的性质，要求进行分割的人仔细检查图像并勾勒出肿瘤。此外，手动分割可能会受到人为错误的影响，导致最终分割不准确。因此，很难准确评估肿瘤的大小和位置，这可能会对治疗计划程序产生负面影响。
  深度学习是人工智能的一个子领域，它使用神经网络从数据中学习并做出预测。在胶质瘤分割的背景下，深度学习算法可以被训练来分析大脑的MRI扫描，并识别包含肿瘤的区域。更具体地说，由U-Net首先提出的具有跳过连接的编码器-解码器架构，在脑胶质瘤分割中比其他传统方法更受欢迎。在胶质瘤分割中使用深度学习可以帮助实现过程自动化，使其更快、更有效。通过使用深度学习，研究人员和医生可以更快速、准确地在MRI扫描中识别肿瘤，这最终可以改善患者的护理。

  自动分割对于胶质瘤患者的脑肿瘤诊断、疾病预后和后续治疗至关重要。然而，由于扫描仪和成像协议的多样性，在多模态MRI中准确检测胶质瘤及其子区域是非常具有挑战性的。在过去的几年里，BraTS竞赛提供了大量的多机构MRI扫描作为胶质瘤分割算法的baseline。这篇文描述了作者对BraTS 2022挑战的贡献。作者提出了一种新的集成多个深度学习框架，即DeepSeg, Nnunet和DeepSCAN，用于术前MRI中的神经胶质瘤边界自动检测。具体来说，将DeepSeg用于二维FLAIR扫描并自动分割脑肿瘤，将nnunet用于自动生物医学分割的自配置方法，而DeepSCAN架构包含密集连接的扩张卷积块。值得注意的是，集成模型在BraTS测试数据集上的最终评价中排名第一，对整个肿瘤、肿瘤核心和增强肿瘤的Dice评分分别为0.9294、0.8788和0.8803,Hausdorf距离分别为5.23、13.54和12.05。此外，文章提出的集成方法在另一个未见过的测试数据集，即 Sub-Saharan Africa dataset上，最终排名第一，其整体肿瘤、肿瘤核心和增强肿瘤的平均Dice得分分别为0.9737、0.9593和0.9022,HD95分别为2.66、1.72、3.32。

2.神经网络架构

2.1DeepSeg:

  图1概述了作者之前提出的一个用于全自动脑肿瘤检测和分割的模块化CNN框架。受U-Net的启发，DeepSeg由收缩路径和扩展路径组成。

• 图1:DeepSeg架构，应用于BraTS 2021挑战中的脑肿瘤分割

  收缩路径由一系列3 × 3 × 3卷积层和2 × 2 × 2最大池化层组成，从输入图像中提取层次特征。另一方面，扩展路径由一系列2 × 2 × 2反卷积层组成，这些层使用这些层次结构特征对收缩路径的输出进行上采样，并为输入图像生成分割图。DeepSeg利用了CNN的最新进展，包括dropout、批量归一化(BN)和ReLU。卷积核的初始滤波器大小设置为8，并在下一层中翻倍，这使得网络能够在多个尺度上学习特征，并提高其在分割任务中的性能。最后，采用1 × 1 × 1卷积层和softmax函数进行输出分割。

2.2nnU-Net:

  nnU-Net是一种以U-net为扩展，用于医学图像分割的深度学习框架。与DeepSeg相比，nnU-Net没有采用任何最近在深度学习中提出的架构以及模块，仅基于普通卷积进行特征提取。更具体地说，nnU-Net使用 strided convolutions 进行下采样，而transposed convolutions 用于上采样。

• 图2：增强的nnU-Net网络，应用于BraTS 2021挑战中的脑肿瘤分割

  图2概述了增强的nnU-Net，包含三个主要修改。首先，通过将编码器中的过滤器数量增加一倍，同时在解码器中保持相同的过滤器，网络大小不对称地增加。其次，组归一化层被批归一化所取代，批归一化已被证明对低批大小更有效。第三，在解码器中使用自注意机制或Transformer允许模型在不同时间关注输入图像的不同部分，这对于识别和分割复杂的胶质瘤亚结构是有用的。

2.3DeepSCAN：

  图3显示了用于脑肿瘤分割的两种DeepSCAN架构。受最近的Densenet架构和U-Net的启发，DeepSCAN架构被提出用于语义分割。而不是使用过渡层和池化操作，扩张卷积被用来增加编码器的感受野。与Densenet类似，每一层的输出在传递到下一层之前都与其输入连接起来。此外，标签不确定性直接应用于损失函数，这使得CNN的预测参与评估网络决策。这种2D/ 3D混合方法带来了更稳定的结果，并在BraTS 2018挑战中排名第三。

• 图3：DeepSCAN架构，应用于BraTS 2018挑战中的脑肿瘤分割

2.4Ensemble Learning:

  集成学习是机器学习中的一种技术，其中训练多个模型并将其组合起来以做出单一的预测。在胶质瘤分割的背景下，可以使用模型集合来提高分割过程的性能并提供更准确的结果。例如，多个模型可以在不同的数据子集上进行训练，它们的预测可以结合起来，在MRI扫描中对肿瘤进行更准确的分割。在这篇文张中，作者使用了三种不同的CNN模型，分别是DeepSeg ， nnU-Net和DeepSCAN，它们遵循U-Net模式，由跳跃连接互连的编码器-解码器架构组成。最终结果采用同步真值和性能水平估计(STAPLE)，这是一种用于医学图像分割的期望最大化集成方法。通过估计真实值(ground truth)和集合中每个模型的性能水平来工作。然后，它结合模型的预测，创建一个比任何单独模型都更准确的最终分割。

2.5Post-processing:

  后处理是胶质瘤分割过程中的一个步骤，它紧随肿瘤的初始分割。它通常涉及细化初始分割，以提高其准确性，并减少任何错误或不一致。这些方法可以包括形态运算、区域生长或水平集进化等技术。后处理的目标是产生尽可能准确和可靠的最终分割。

  在BraTS挑战赛中，肿瘤核心的分割和小血管(坏死或水肿)的确定尤其具有挑战性。这在可能没有增强肿瘤的低级别胶质瘤(LGG)患者中尤其明显，因此，BraTS挑战评估分割为0或1的二进制值。但是，对于肿瘤没有增强的患者，在预测的分割图中只有很小的假阳性的情况下，将生成Dice值为0。为了克服这一问题，当总预测ET区域低于阈值时，所有增强的肿瘤输出都被重新标记为坏死(标签1)，尽管这种策略可能有消除一些正确预测的副作用。

3实验与结果:

3.1Cross-validation Training

  DeepSeg模型在Tensorflow框架中实现，nnU-Net和DeepSCAN在PyTorch框架中实现。DeepSCAN和nnU-Net使用预训练模型来减少训练时间，确保与之前的BraTS挑战贡献相同的结果。
具体的实验参数感兴趣的可以去原文看一下

3.2 实验结果

• 表1:在BraTS 2021验证案例上的五次交叉验证模型的结果。所有报告的数值都由在线评估平台Synapse计算。计算DSC和HD95分数的平均值

• 表2:BraTS 2021测试数据集上的最终集成结果

• 表3.SSA测试数据集上的最终集成结果
  
• 表4.儿科测试数据集的最终集合结果

• 图4. 集成模型的定性验证集结果样本。最好的、中值的和最坏的情况显示在行中。列显示T2, T2- flair，以及我们在T2-flair图像上预测分割的覆盖。WT包括所有可见标签(绿色，黄色和红色标签)，TC是绿色和红色的并集，而ET类以绿色显示

4结论:

  作者探索了来自不同最先进U-Net变体的多种配置的集成模型，即DeepSeg ， nnU-Net和DeepSCAN。根据作者的内部排名策略，最终提交的作品被选择为这些方法的集合。使用后处理方法来提高所开发的分割算法的准确性，尽管忽略了一些正确的预测。表1列出了方法在在线评估平台Synapse计算的验证集上的结果。值得注意的是，方法在验证数据集上分别实现了ET、TC和WT区域的DSC为0.9271、0.8753和0.8438,HD95为17.5041、7.5326和3.5952。

  该集成方法在两个未见过的测试数据集上赢得了BraTSCE 2022竞赛。在BraTS测试数据集上，提交的ET、TC和WT的DSC得分分别为0.8803、0.8788和0.9294,HD95分别为12.05、13.54和5.24。值得注意的是，模型在SSA测试数据集上获得的ET、TC和WT的DSC得分分别为0.9022、0.9593和0.9737,HD95分别为3.32、1.72和2.66。一般来说，定性评价支持显示高质量分割的数值评价。研究结果表明，这种方法可以很容易地应用于临床实践。