【论文阅读笔记】RFNet: Region-aware fusion network for incomplete multi-modal brain tumor segmentation

Ding Y, Yu X, Yang Y. RFNet: Region-aware fusion network for incomplete multi-modal brain tumor segmentation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 3975-3984.【开放源码】

论文概述

本文的核心思想是提出了一个名为RFNet（Region-aware Fusion Network）的新型网络架构，用于处理不完整的多模态脑肿瘤分割问题。

RFNet的关键创新点包括：

1. 区域感知融合模块（RFM）：RFNet通过RFM来适应性地融合来自不同模态的特征。RFM考虑到不同模态对不同脑肿瘤区域的敏感性，能够根据不同区域生成相应的注意力权重，从而有效地聚合模态特征，提高分割准确性。
2. 分割正则化器：为了解决由于不完整的多模态数据导致的训练不平衡问题，RFNet引入了一个基于分割的正则化器。这个正则化器通过单独对每种模态图像进行分割，迫使每个模态编码器学习到对所有肿瘤区域都有辨别力的特征。
3. 综合损失函数：RFNet使用了一个包含多个组件的损失函数，以优化网络的整体性能。

文章在多个BRATS数据集（包括BRATS2020、BRATS2018和BRATS2015）上进行实验。

网络结构

采用3D U-Net架构，并采用后期融合策略来构建RFNet。如图所示，采用四个编码器分别从四种模式中提取特征。解码器$D_{sep}$被设计用来分别分割每个通道，从而帮助四个编码器学习代表区域的特征。此外，$D_{sep}$共享四种图像模式的权重，因此四种模式特征可以投射到共享的潜在空间。这样促进了以后的特征融合。

• Region-aware Fusion Module：包含两个子模块Probability Map Learning和Region-aware Multi-modal Fusion。RFM是RFNet的一个关键组成部分，它的主要目的是根据不同脑肿瘤区域的特性，适应性地融合来自不同MRI模态的特征。RFM的结构和工作原理如下：

  

  1. 区域划分：RFM首先使用学习到的概率图将模态特征划分为不同的区域（即肿瘤子结构）。这个概率图表示每个像素属于肿瘤各个区域的概率。

  2. 区域规范化池化操作：为了获取每个区域的全局特征，RFM对每个区域的特征执行区域规范化池化操作。这个操作通过平均池化获得全局特征，并使用概率图对其进行规范化，以防止全局特征数值过小（考虑到脑肿瘤通常只占大脑的一小部分）。

  3. 注意力权重生成：接下来，RFM通过两个全连接层、一个Leaky ReLU层和一个Sigmoid激活函数，将规范化的全局特征嵌入到模态级别的注意力权重中。这些注意力权重用于调整可用模态对分割结果的贡献，以获得更具辨别力的融合特征。

     

  4. 特征融合：RFM为每个区域单独生成注意力权重，然后将这些权重应用于相应区域的分割特征。通过这种方式，RFM能够为每个区域生成更具代表性的特征。

  5. 连接和卷积瓶颈：为了将这些区域特征传递给解码器，RFM采用连接操作，随后是一个卷积瓶颈层。此外，还采用了类似于残差学习的跳跃连接。

• Segmentation-based Regularizer

  RFNet采用权重共享解码器$D_{sep}$对各模态图像进行分割。正则化项采用相应的加权交叉熵损失和骰子损失。

  实验结果

​