基于卷积神经网络（CNN）的深度迁移学习在声发射（AE）监测螺栓连接状况的应用

     螺栓结构在工业中用于组装部件，它们在多种机械系统中扮演着关键角色。确保这些连接结构的健康状态对于航空航天、汽车和建筑等各个行业至关重要，因为螺栓连接的故障可能导致重大的安全风险、经济损失、性能下降和监管合规问题。

     在早期阶段检测到螺栓松动或退化可以及时进行维护或修理，从而最小化昂贵的停机风险。因此，这有助于优化维护计划并有助于延长设备和结构的使用寿命。在役使用期间，有效的结构完整性监测系统的实施是强制性的，因为螺栓可能会自行松动，导致潜在的灾难性故障。

     螺栓自行松动的一个原因是由于振动周期中接触表面之间的粘滑引起的微观损伤的连续累积。这种损伤形式逃避了旨在评估螺栓结构整体和全局行为的主动技术的检测。然而，这种微观损伤本身会耗散能量，这可以通过一种名为声发射（AE）的被动技术来记录。AE定义为检测由材料完整性的突然和永久性变化产生的瞬态弹性波引起的材料表面亚纳米级位移。这些波的短暂性质要求使用压电传感器连续收集数据，典型的频率范围在几十kHz到1MHz之间，将位移转换为电压信号。

    不管应用如何，使用AE的一个重大挑战是提取具有代表性的和鲁棒的特征，这对于状态监测至关重要。因此，本文旨在解决以下问题：哪些特征对于紧固程度分类最相关？这些特征如何通过几次测量活动泛化？

1 ORION-AE 数据集

专门用于螺栓连接结构健康监测（SHM）的声发射（AE）数据集。它由法国 Besançon 的 Institut FEMTO-ST 的研究人员收集和创建，旨在评估和比较不同螺栓紧固度检测方法的性能。数据集具有以下特点：

• 多传感器数据： 数据集包含来自三个不同频率范围的声发射传感器（mu80, F50A, mu200HF）的测量数据，提供了互补信息。
• 多实验战役： 数据集包含五个独立的实验测量活动（#B, #C, #D, #E, #F），每个测量活动在螺栓连接结构上施加不同的紧固扭矩水平，并记录相应的声发射信号和激光测振仪信号。
• 多紧固扭矩水平： 每个实验活动中，螺栓连接结构上的紧固扭矩水平从 60 cNm 逐渐降低到 5 cNm，共 7 个水平，每个水平对应一个类别。
• 高噪声水平： 由于螺栓连接结构在振动过程中产生的声发射信号非常微弱，因此数据集中存在大量的噪声，信噪比约为 2.3 dB。
• 声发射信号处理： 数据集中的声发射信号经过连续小波变换（CWT）处理，转换为图像格式，以便于深度学习模型进行特征提取和分类。

2 方法论

方法论由三个主要模块组成，如下图所示，即信号处理、数据准备和紧固级别识别。

2.1 信号处理

信号处理的目标是将原始的声发射信号转换为可用于深度学习的图像数据。详细步骤如下：

2.1.1 数据分段

声发射信号首先被分割成多个块，以便进行后续处理。分割方式包括：

• 击中检测: 检测信号中显著的事件，并将其作为块的开始和结束。
• 滑动窗口: 以固定的时间间隔将信号分割成多个重叠的块。
• 利用其他传感器: 例如，在本研究中，利用激光测振仪信号检测振动周期，并将声发射信号分割成与振动周期相对应的块。

2.1.2 数据加窗

为了避免声发射事件在相邻周期之间的重叠影响，每个周期信号被乘以汉宁窗。汉宁窗是一种加权窗函数，可以减小信号边缘的影响，从而将分析重点放在周期的中心部分。

2.1.3 声发射信号转换为图像

• 将每个周期的声发射信号通过连续小波变换 (CWT) 转换为图像。CWT 可以将信号分解为不同的频率成分，并将其表示为时间-频率图，即图像。
• CWT 使用 Morse (3, 60) 小波，其具有局部化频率特性，并使用 12 个滤波器对尺度进行离散化。
• 图像尺寸为 224 × 224 × 3，其中 3 代表 RGB 通道，对应于 CWT 的实部、虚部和模值。

2.1.4 数据增强 (可选)

为了提高模型的泛化能力，可以采用数据增强技术，例如旋转、缩放、翻转等，对图像进行变换。

2.2 数据准备

数据准备模块的目标是将信号处理模块生成的图像数据转换为可用于深度学习的格式，并进行必要的预处理。详细步骤如下：

2.2.1 图像编码

由于深度学习模型通常使用浮点数进行计算，因此需要将 CWT 图像的整数编码转换为浮点数编码。这可以通过归一化或使用浮点数进行编码来实现。

2.2.2 数据集划分

将图像数据集划分为训练集、验证集和测试集。通常，训练集占 80%，验证集占 10%，测试集占 10%。

2.2.3 数据增强 (可选)

为了提高模型的泛化能力，可以采用数据增强技术，例如旋转、缩放、翻转等，对图像进行变换。

2.2.4 批处理

为了提高训练效率，将图像数据组织成批次进行训练。每个批次包含多个图像，并使用随机梯度下降算法进行更新。

2.2.5 数据加载

将图像数据加载到深度学习框架中，并进行必要的预处理，例如归一化、裁剪等。

2.3 紧固级别识别

紧固级别识别模块是螺栓连接结构健康监测方法的核心部分，其目标是通过深度学习模型对 CWT 图像进行分类，从而识别螺栓的紧固级别。详细步骤如下：

2.3.1 模型选择

选择合适的深度学习模型进行分类。本研究中使用了四种不同的模型架构：

• GoogleNet: 一种具有“inception 模块”的深度卷积神经网络，能够有效地提取图像特征。
• ResNet18: 一种具有残差连接的深度卷积神经网络，能够有效地解决梯度消失问题。
• MobileNetV2: 一种轻量级的深度卷积神经网络，适合在移动设备上进行部署。
• EfficientNetB5: 一种具有高效网络结构的深度卷积神经网络，能够在保证精度的同时减少计算量。

2.3.2 模型训练

使用训练集对深度学习模型进行训练。训练过程中，模型会不断学习 CWT 图像的特征，并将其与螺栓的紧固级别进行关联。训练过程中需要设置以下参数：

• 学习率: 控制模型更新参数的速度。
• 学习率调度器: 动态调整学习率，例如 1cycle 调度器。
• 优化器: 例如 AdamW 或 SGD，用于更新模型的参数。
• 损失函数: 用于评估模型的预测结果与真实标签之间的差异，例如交叉熵损失或序数损失。
• 批大小: 每个批次包含的图像数量。
• 迭代次数: 模型训练的次数。

2.3.3 模型评估

• 使用验证集评估模型的性能，并根据评估结果选择最优的模型参数。
• 使用测试集评估模型的泛化能力，并计算模型的准确率等指标。

2.3.4 紧固级别识别

使用训练好的深度学习模型对新的 CWT 图像进行分类，从而识别螺栓的紧固级别。

3 结论

• 以往针对同质群体开发的基于深度神经网络和冻结层的方法未能泛化，使它们不适合使用AE技术的螺栓连接的SHM目的。
• 在计算CWT之前对AE数据进行去噪是不必要的。
• 使用mu80传感器就足以获得高性能，无需传感器融合。
• 比较了不同的损失函数，特别是序数损失和标准交叉熵（CRE），POM1b的损失在所有网络中整体上带来了最佳结果，而CRE在准确性和标准差方面表现最差。
• 超收敛现象首次在SHM数据上展示，探索了一种名为1cycle调度器的学习率调度策略，它允许在几次迭代中获得高准确率。
• 就准确性和收敛速度而言，两个最佳配置是：EfficientNetB5和Resnet18，都使用POM1b损失，分别在五个测量活动#B、#C、#D、#E和#F中准确度为78.8%、86.4%、86.3%、78.8%、86.1%。

4 相关知识

4.1  POM1b 损失函数

   POM1b 损失函数是一种 ordinal loss 函数，它旨在通过惩罚相邻类别的误分类来提高分类的准确性。POM1b 损失函数的计算公式如下：

POM1b(T, P) = − ∑_{i,k} T_{i}(k) · ∑_{l∈{−1,0,1}}^{0<k−l<=K} log P_{i}(k − l)

其中：

• T: 真实标签矩阵，元素 T_{i}(k) 表示第 i 个样本属于第 k 个类别的概率。
• P: 预测标签矩阵，元素 P_{i}(k) 表示模型预测第 i 个样本属于第 k 个类别的概率。
• K: 类别总数。
• l: 遍历相邻类别时使用的索引，取值为 -1, 0, 1。

4.2  mu80 传感器

Physical Acoustics 公司生产的一款声发射传感器，用于检测材料表面亚纳米级的位移。它具有以下特点：

• 频率范围: 200 kHz - 900 kHz，能够有效捕捉螺栓连接结构在振动过程中产生的声发射信号。
• 灵敏度: 高灵敏度，能够检测到微小的声发射信号，例如由于表面微滑引起的能量释放。
• 类型: 压电传感器，将声发射信号转换为电压信号，便于后续处理和分析。
• 安装方式: 将传感器粘贴在螺栓连接结构的下梁上，使用硅脂作为耦合剂，以提高传感器的灵敏度和可靠性。