AFFU-Net|混合损失的注意特征融合的U-Net用于冬枣裂纹检测_残差细化模块

本人小白，写博客是为了记录学习笔记，也为了和各位大佬交流，如果文中出现错误，希望各位指正，本人不胜感激！

论文题目：AFFU-Net: Attention feature fusion U-Net with hybrid loss for winter jujube
crack detection

论文链接：https://www.sciencedirect.com/science/article/pii/S0168169922003660

本文的主要贡献：

• 为了增强特征学习能力，提高裂缝检测的准确率，提出了一种注意力特征融合U-网（AFFU-网）；
• 引入残差细化模块（RRM）对粗显着图进行细化，得到边界更准确、内部区域更完整的最终预测图；
• 设计了一种新的混合损失函数来监督和优化网络训练，以获得更鲁棒的模型；
• 为提高复杂环境下的识别精度，结合AFFU-Net和GrabCut算法，构建了一种定量和定性相结合的冬枣裂果缺陷评估方法；

方法：

首先，利用GrabCut算法获取冬枣模板和精确的边界信息，为准确计算损伤率奠定基础。随后，设计了AFFU-Net来分割覆盖不同形状和裂纹尺寸的缺陷掩模。最后，使用枣的像素面积与裂纹掩模之间的除法计算来计算损伤百分比。

GrabCut算法：

GrabCut算法是一种交互式图像分割算法，广泛应用于背景和前景的分割；

 将红枣图像的每个像素映射成一个具有两个端点的无向图像，其中S和T分别表示前景端点和背景端点，即S-T图。GMM为相邻像素的连接赋予能量权值，反映了相邻像素之间的颜色对比度信息。在多次迭代之后，S-T图被不断地更新以最小化能量E并获得最终分割结果。

AFFU-Net：

•  编码器选用的是ResNet34网络，ResNet34是ResNet网络中最小的网络，但是其兼顾了ResNet的优点，同时兼顾了检测效率；
• 在编码器架构中嵌入注意力特征融合块，来增加高低层特征的交互和融合，以获得更令人满意的粗图；
• 引入一种新的残差细化模块（RRM）和一个新的混合损失函数来进一步细化粗图；

AFF：

    

在将高级和低级特征进行融合的工作中，大部分采用的是加法或级联在不同尺度的特征和内核之间建立关系，这增加了特征的利用率；作者引入了注意特征融合模块（AFF）融合多尺度上下文信息，选择有效特征，AFF块可以突出有用的特征并且加强局部位置信息与全局信道特征之间的连接。在作者的网络图中是将编码器（En）和解码器（Dn）获得的低级和高级特征图送到AFF中以获得多尺度信道权重。

在AFF模块中引入了MS-CAM注意力模块，因为SENet通过全局平均池化生成通道权值来表示每个通道之间的非线性关系，但忽略了特征图的空间信息。为了解决这个问题，所以引入了空间注意模块（SAM），从CBAM的空间水平上集中注意重要的功能，结合了通道注意机制（CAM），突出有用的功能和削弱不相关的功能。

SE模块与MS-CAM模块相比，多了一个分支直接使用逐点卷积实现全局特征关注，结合全局平均池化（GAP）分支实现局部特征关注，同时SE模块中的全连接层（FC）被逐点卷积（PWC）代替，以实现每个空间位置的逐点信道交互。

 残差细化模块（RRM）：

残差细化模块是为了解决（1）骨干网络的端到端训练问题；（2）依赖外部知识边缘库；（3）难以捕获的用于细化的边缘特征；RRM也是一个U型结构，包括三个编码器和解码器级，每个编码器级具有卷积和最大池化层，其分别用于提取特征和减少特征维度，每个解码器级包含卷积和上采样层以恢复最终显著性图的特征图比例。

混合损失函数：

Ltotal = Lbce +LDice +Lslim

Lbce对于对象和背景之间的类不平衡问题有局限性；LDice用于反映地面实况和预测图之间的重叠程度，可以有效地解决类别不平衡问题；Lssim使得边界更清晰，用于图像质量改进。

数据集：

 自己利用iPhone11拍摄的736张冬枣照片，其中368张添加了盐和胡椒噪声，将数据集分为19份，9份为训练集，1份为测试集。