（脑肿瘤分割笔记:十八）语义分割的自适应特征重组和重新校准--在脑肿瘤分割中应用_特征重组案列

目录

注意力模块相关概念介绍

空间注意力机制

通道注意力机制 

通道注意力机制之SENet

通道注意力机制+空间注意力机制之CBAM模块

 通道注意力机制之ECANet

Title：Adaptive feature recombination and recalibration for semantic segmentation: application to brain tumor segmentation in MRI

摘要

Introuduction

Method-重组和重新校准模块

方法概述

模块结构图

总结

---

注意力模块相关概念介绍

注意力机制就是实现网络自适应的一种方式

一般来说注意力机制可以分为：1）通道注意力 2）空间注意力 3）通道注意力+空间注意力

空间注意力机制

空间注意力是分辨所看到的画面中哪一个区域比较重要，如下图所示在特征层中存才这若干个特征点，空间注意力机制就是要关注哪些特征点是需要我们关注的，比如在下图中我们要关注鸟这一特征，空间注意力机制就会让鸟周围的像素点的权重变大

通道注意力机制 

对于特征图来说存在着若干个特征点，每个特征点都存在着若干个通道，而每一个通道都是这个特征点的一个特征浓缩，那么通道注意力机制就是去关注哪些通道是重要的，其示意图如下所示：

比如获得了一些明暗信息特征，一些色域信息特征这些特征对于这个任务来说并不重。此时通道注意力机制去自适应的关注哪个特征通道是最重要的，并赋予该通道更大的权重。在上图中该任务更加关注点线特征，所以为该通道赋予较高的权重

通道注意力机制之SENet

SENet是通道注意力机制的一个典型，其结构如下图所示：

对于输入进来的特征层，我们关注每一个通道的权重，对于SENet来说，其重点是获得输入进来的特征层每一个通道的权重，利用SENet可以让网络关注它最需要关注的通道。

具体实现方式是：

1）对输入进来的特征层进行全局平均池化

2）然后进行两次全连接，第一次全连接神经元个数较少，第二次全连接神经元个数和输入特征层相同

3）在完成两次全连接以后，我们再取一次Sigmod将值固定在0到1之间，此时我们获得了输入特征层每一个通道的权值。

4）在获得这个权值以后，我们将这个权值乘上原输入特征即可

通道注意力机制+空间注意力机制之CBAM模块

CBAM模块将通道注意力机制和空间注意力机制结合起来，它相比于SENet它不仅关注每个通道的比重还会关心每个像素点的比重。整体的示意图结构如下：

具体来说。

上半部分是通道注意力机制，通道注意力机制可以分为两部分，首先对输入进来的单个特征层分别进行全局平均池化和全局最大池化。这两个池化操作都是对高和宽进行池化的。因此在完成这两个池化操作后得到两个特征长条，这两个特征长条的长度都是都等于输入进来的特征层通道数。之后利用共享的全连接层进行处理，第一个全连接层处理之后神经元个数较少，再进行一次全连接操作处理之后神经元的个数较多。再将两个特征长条相加再通过Sigmod激活函数，这时获得通道注意力，其神经元个数和输入进来的通道数是一致的，每个神经元对应一个通道。最终再将通道注意力和输入进来的特征相乘，完成通道注意力部分的计算。上半部分的示意图如下：

 下半部分是空间注意力机制。首先在每个特征点上都取最大值和平均值（这里的平均值和最大值是针对通道进行处理的）在经过这一处理后，相当于将输入进来的特征层压扁通道数变为1，再将这两个结果堆叠，可以获得高宽为2的特征层。再对其使用一个卷积，获得高宽为1的特征层，再将这个特征层取SigMod激活函数处理之后得到空间注意力（即每个特征点的比重）再将空间注意力与输入特征相乘完成空间注意力的施加。

 通道注意力机制之ECANet

 ECANet是通道注意力的一种，可以看做是对SENet的一种改进版本

SENet对通道注意力机制的预测带来了副作用，捕获所有通道的依赖性是低效且不必要的

ECANet和SENet的对比图如下所示

ECANet认为卷积具有良好的跨通道信息获取能力。

ECANet模块的思想是去除了原来SE模块中的全连接层，直接在全局平均池化后的特征上通过一个1D卷积进行学习，然后再取sigmod激活函数进行处理获得每一个特征点的权值，再乘上输入进来的特征层 

Title：Adaptive feature recombination and recalibration for semantic segmentation: application to brain tumor segmentation in MRI

摘要

全卷积神经网络可以一次分割一组体素，在给定位置的特征图FM中的单元与相应的分类体素之间具有直接的空间对应关系。在卷积层中，特征图被合并以创建新的特征图。因此通道组合非常重要！

本文提出了使用线性扩展和压缩的特征重组为语义分割创建更复杂的特征，此外我们还提出了一个用于特征重新校准的分割SE模块。这个模块收集上下文信息，同时保持空间语义信息。

Introuduction

SE模块的灵感来自于并非所有特征图都对所有类提供信息，因此SE模块学习如何自适应的抑制不具有辨别力的特征图（重新校准）尽管SE模块具有重新校准的能力，但是它被设想为对整个特征图进行加权。这对FCN来说不是最佳的。由于特征图中的单元和体素之间存在空间对应关系。因此需要强调或抑制特征图中的某些区域而不是整个特征图。

本文主要探讨的是特征图的重组和重新校准。在重组操作中我们不仅仅是减少特征图的数量，而是采用线性扩展和压缩来混合信息。在SE模块中，全局平均池化捕获整个上下文信息，本文认为扩张卷积更适合FCN中的重新校准模块。具体来说，首先我们通过线性扩展和压缩来重组特征图。然后我们在FCN的背景下探索特征图的重新校准。

Method-重组和重新校准模块

方法概述

重组包括跨特征图频道混合信息以创建新的组合特征，我们提出的特征图线性扩展以增强特征图的数量，然后压缩到原始的数量。这个操作由具有1*1大小的卷积核的卷积层完成，特征图的给定空间位置中的单元的线性重组由所有特征图的同一位置的单元加权和产生，因此扩展将特征组合到更高的维度，而压缩学习如何压缩特征并抑制不具辨别力的特征。

模块结构图

本文提出的特征图重组的扩展压缩模块如下图所示：

经过实验发现当扩展因子为4的时候能够具有很好的效果。

整体的特征重组和特征重新校准模块结构如下图：

在SE模块中，首先全局平均池化将每个特征图总结为它的平均价值来捕获上下文信息。然后是两个全连接层来捕获跨通道关系。第一个全连接层是因子为r的压缩层然后是Relu激活函数。第二个全连接层恢复了原来的维度紧跟着一个Sigmod激活函数。最后这个向量在通道上与输入特征图相乘。也就是每一个特征图乘以一个相对应的标量值，从而使每个特征图作为一个整体进行缩放。然而在使用FCN进行分割时，一块体素被一次分割，因此特征图中的分割像素和单位之间存在着对应关系。在这种情况下·，特征图的某些区域可能具有与该空间位置被分割的结构相关的强激活。因此SE模块不是语义分割的最佳选择，因为SE模块将特征图折叠为单个值，而与区域无关，因此本文提出了改进的分段适配器SegSE块

SegSE结构如图（c）所示,它使用3*3大小的卷积核的卷积层和膨胀因子为d的扩张卷积用于上下文聚合，同时这一层负责压缩阶段。通过实验发现最佳膨胀卷积因子取决于特征图的分辨率。

总结

本文对特征图进行重组和重新校准以进行语义分割，特征重组首先对特征图进行线性扩展然后再对其进行压缩从而混合特征，而特征重新校准则自适应的重新校准特征图区域。