当前位置:   article > 正文

[深度学习论文笔记]Multimodal CNN Networks for Brain Tumor Segmentation in MRI_category guided attention network for brain tumor

category guided attention network for brain tumor segmentation in mri

Multimodal CNN Networks for Brain Tumor Segmentation in MRI: A BraTS 2022 Challenge Solution

MRI中用于脑肿瘤分割的多模态CNN网络:BraTS 2022挑战解决方案
Author: Ramy A. Zeineldin, Mohamed E. Karar, Oliver Burgert, Franziska MathisUllrich
Unit: Reutlingen University
Comments: Accepted in BraTS 2022

论文:https://arxiv.org/abs/2212.09310
docker image:https://hub.docker.com/r/razeineldin/camed22

1.问题动机

  神经胶质瘤是最常见的肿瘤类型,起源于大脑的支持组织,称为神经胶质细胞。胶质瘤的诊断通常具有挑战性,因为其侵袭性、极端异质性、发生在大脑任何部位的能力,以及其不同形状和大小的子区域,包括增强性肿瘤(ET)、瘤周水肿(ED)和坏死和非增强性肿瘤核心(NET)。
  人工分割胶质瘤是在医学成像扫描(如磁共振成像(MRI)扫描[3])上手动识别和勾画胶质瘤范围的过程。这通常是由训练有素的医疗专业人员完成的,例如,放射科医生。人工胶质瘤分割的主要挑战之一是其耗时和劳动密集型的性质,要求进行分割的人仔细检查图像并勾勒出肿瘤。此外,手动分割可能会受到人为错误的影响,导致最终分割不准确。因此,很难准确评估肿瘤的大小和位置,这可能会对治疗计划程序产生负面影响。
  深度学习是人工智能的一个子领域,它使用神经网络从数据中学习并做出预测。在胶质瘤分割的背景下,深度学习算法可以被训练来分析大脑的MRI扫描,并识别包含肿瘤的区域。更具体地说,由U-Net首先提出的具有跳过连接的编码器-解码器架构,在脑胶质瘤分割中比其他传统方法更受欢迎。在胶质瘤分割中使用深度学习可以帮助实现过程自动化,使其更快、更有效。通过使用深度学习,研究人员和医生可以更快速、准确地在MRI扫描中识别肿瘤,这最终可以改善患者的护理。

  自动分割对于胶质瘤患者的脑肿瘤诊断、疾病预后和后续治疗至关重要。然而,由于扫描仪和成像协议的多样性,在多模态MRI中准确检测胶质瘤及其子区域是非常具有挑战性的。在过去的几年里,BraTS竞赛提供了大量的多机构MRI扫描作为胶质瘤分割算法的baseline。这篇文描述了作者对BraTS 2022挑战的贡献。作者提出了一种新的集成多个深度学习框架,即DeepSeg, Nnunet和DeepSCAN,用于术前MRI中的神经胶质瘤边界自动检测。具体来说,将DeepSeg用于二维FLAIR扫描并自动分割脑肿瘤,将nnunet用于自动生物医学分割的自配置方法,而DeepSCAN架构包含密集连接的扩张卷积块。值得注意的是,集成模型在BraTS测试数据集上的最终评价中排名第一,对整个肿瘤、肿瘤核心和增强肿瘤的Dice评分分别为0.9294、0.8788和0.8803,Hausdorf距离分别为5.23、13.54和12.05。此外,文章提出的集成方法在另一个未见过的测试数据集,即 Sub-Saharan Africa dataset上,最终排名第一,其整体肿瘤、肿瘤核心和增强肿瘤的平均Dice得分分别为0.9737、0.9593和0.9022,HD95分别为2.66、1.72、3.32。

2.神经网络架构
2.1DeepSeg:

  图1概述了作者之前提出的一个用于全自动脑肿瘤检测和分割的模块化CNN框架。受U-Net的启发,DeepSeg由收缩路径和扩展路径组成。
在这里插入图片描述

  • 图1:DeepSeg架构,应用于BraTS 2021挑战中的脑肿瘤分割

  收缩路径由一系列3 × 3 × 3卷积层和2 × 2 × 2最大池化层组成,从输入图像中提取层次特征。另一方面,扩展路径由一系列2 × 2 × 2反卷积层组成,这些层使用这些层次结构特征对收缩路径的输出进行上采样,并为输入图像生成分割图。DeepSeg利用了CNN的最新进展,包括dropout、批量归一化(BN)和ReLU。卷积核的初始滤波器大小设置为8,并在下一层中翻倍,这使得网络能够在多个尺度上学习特征,并提高其在分割任务中的性能。最后,采用1 × 1 × 1卷积层和softmax函数进行输出分割。

2.2nnU-Net:

  nnU-Net是一种以U-net为扩展,用于医学图像分割的深度学习框架。与DeepSeg相比,nnU-Net没有采用任何最近在深度学习中提出的架构以及模块,仅基于普通卷积进行特征提取。更具体地说,nnU-Net使用 strided convolutions 进行下采样,而transposed convolutions 用于上采样。
在这里插入图片描述

  • 图2:增强的nnU-Net网络,应用于BraTS 2021挑战中的脑肿瘤分割

  图2概述了增强的nnU-Net,包含三个主要修改。首先,通过将编码器中的过滤器数量增加一倍,同时在解码器中保持相同的过滤器,网络大小不对称地增加。其次,组归一化层被批归一化所取代,批归一化已被证明对低批大小更有效。第三,在解码器中使用自注意机制或Transformer允许模型在不同时间关注输入图像的不同部分,这对于识别和分割复杂的胶质瘤亚结构是有用的。

2.3DeepSCAN:

  图3显示了用于脑肿瘤分割的两种DeepSCAN架构。受最近的Densenet架构和U-Net的启发,DeepSCAN架构被提出用于语义分割。而不是使用过渡层和池化操作,扩张卷积被用来增加编码器的感受野。与Densenet类似,每一层的输出在传递到下一层之前都与其输入连接起来。此外,标签不确定性直接应用于损失函数,这使得CNN的预测参与评估网络决策。这种2D/ 3D混合方法带来了更稳定的结果,并在BraTS 2018挑战中排名第三。
在这里插入图片描述

  • 图3:DeepSCAN架构,应用于BraTS 2018挑战中的脑肿瘤分割
2.4Ensemble Learning:

  集成学习是机器学习中的一种技术,其中训练多个模型并将其组合起来以做出单一的预测。在胶质瘤分割的背景下,可以使用模型集合来提高分割过程的性能并提供更准确的结果。例如,多个模型可以在不同的数据子集上进行训练,它们的预测可以结合起来,在MRI扫描中对肿瘤进行更准确的分割。在这篇文张中,作者使用了三种不同的CNN模型,分别是DeepSeg , nnU-Net和DeepSCAN,它们遵循U-Net模式,由跳跃连接互连的编码器-解码器架构组成。最终结果采用同步真值和性能水平估计(STAPLE),这是一种用于医学图像分割的期望最大化集成方法。通过估计真实值(ground truth)和集合中每个模型的性能水平来工作。然后,它结合模型的预测,创建一个比任何单独模型都更准确的最终分割。

2.5Post-processing:

  后处理是胶质瘤分割过程中的一个步骤,它紧随肿瘤的初始分割。它通常涉及细化初始分割,以提高其准确性,并减少任何错误或不一致。这些方法可以包括形态运算、区域生长或水平集进化等技术。后处理的目标是产生尽可能准确和可靠的最终分割。

  在BraTS挑战赛中,肿瘤核心的分割和小血管(坏死或水肿)的确定尤其具有挑战性。这在可能没有增强肿瘤的低级别胶质瘤(LGG)患者中尤其明显,因此,BraTS挑战评估分割为0或1的二进制值。但是,对于肿瘤没有增强的患者,在预测的分割图中只有很小的假阳性的情况下,将生成Dice值为0。为了克服这一问题,当总预测ET区域低于阈值时,所有增强的肿瘤输出都被重新标记为坏死(标签1),尽管这种策略可能有消除一些正确预测的副作用。

3实验与结果:
3.1Cross-validation Training

  DeepSeg模型在Tensorflow框架中实现,nnU-Net和DeepSCAN在PyTorch框架中实现。DeepSCAN和nnU-Net使用预训练模型来减少训练时间,确保与之前的BraTS挑战贡献相同的结果。
具体的实验参数感兴趣的可以去原文看一下

3.2 实验结果

在这里插入图片描述

  • 表1:在BraTS 2021验证案例上的五次交叉验证模型的结果。所有报告的数值都由在线评估平台Synapse计算。计算DSC和HD95分数的平均值

在这里插入图片描述

  • 表2:BraTS 2021测试数据集上的最终集成结果

在这里插入图片描述

  • 表3.SSA测试数据集上的最终集成结果
    在这里插入图片描述
  • 表4.儿科测试数据集的最终集合结果

在这里插入图片描述

  • 图4. 集成模型的定性验证集结果样本。最好的、中值的和最坏的情况显示在行中。列显示T2, T2- flair,以及我们在T2-flair图像上预测分割的覆盖。WT包括所有可见标签(绿色,黄色和红色标签),TC是绿色和红色的并集,而ET类以绿色显示
4结论:

  作者探索了来自不同最先进U-Net变体的多种配置的集成模型,即DeepSeg , nnU-Net和DeepSCAN。根据作者的内部排名策略,最终提交的作品被选择为这些方法的集合。使用后处理方法来提高所开发的分割算法的准确性,尽管忽略了一些正确的预测。表1列出了方法在在线评估平台Synapse计算的验证集上的结果。值得注意的是,方法在验证数据集上分别实现了ET、TC和WT区域的DSC为0.9271、0.8753和0.8438,HD95为17.5041、7.5326和3.5952。

  该集成方法在两个未见过的测试数据集上赢得了BraTSCE 2022竞赛。在BraTS测试数据集上,提交的ET、TC和WT的DSC得分分别为0.8803、0.8788和0.9294,HD95分别为12.05、13.54和5.24。值得注意的是,模型在SSA测试数据集上获得的ET、TC和WT的DSC得分分别为0.9022、0.9593和0.9737,HD95分别为3.32、1.72和2.66。一般来说,定性评价支持显示高质量分割的数值评价。研究结果表明,这种方法可以很容易地应用于临床实践。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/97895
推荐阅读
相关标签
  

闽ICP备14008679号