人工智能在大型复杂机械产品装配状态检测自动化中的应用

尊敬的读者们，本文主要围绕“大型复杂机械产品装配状态检测自动化方案”开展讨论，从这个领域存在的问题和难度，以及基于人工智能、数字图像处理、机器人控制、装配机理等技术的自动化设计与实践方案。文章提出了数字化建模和智能识别模型构建的技术设计，并通过硬件控制系统和软件架构的实际验证，展示了该方法的合理性和可行性。

本文内容较为专业，是美林数据智能制造领域资深专家曹博士的专业分享，希望对有志于深入研究该领域的读者有一定启发和参考价值。也欢迎对此有应用需求的行业伙伴，与美林数据开展深入探讨与合作。

前言：一般性讨论

大型复杂机械产品的装配状态检测自动化的重要性

装配状态检测是大型复杂机械产品诸如飞机、汽车、船舶等制造过程的重要组成部分。这类产品结构复杂，其装配过程涉及大量零组件。在制造全过程中，装配劳动量通常占总劳动量的50%～60%。因此装配质量对大型复杂机械产品的最终品质有很大的影响。为保证产品品质，通常要求装配检测人员按照装配操作规程进行细致检查，确保工作涉及的成品、附件及零组件等装配均符合装配图纸及相关规范的要求。这种人工检测的方式费时费力、可靠性低，且检测时存在一定的主观性，可能造成装配状态检测准确度不高，检测结论不一致等问题；检测人员难以长期注意力集中，有可能对个别错、漏装情况未及时发
现，影响装配合格性，对最终产品使用安全造成不良影响。此外，现有状态检测流程要求固化，难以随设计变更和装配工艺变更实时调整，数据缺乏统一管理，难以在后续维保工作中贡献更大价值。基于此，研究大型复杂机械产品自动化装配状态检测，提高大型复杂机械产品装配状态检测的稳定性，可回溯
性，提升检测结果数据价值，是推动大型复杂机械产品装配向高质量、高效
率、高精准化发展的重要任务。 我国在大型复杂机械产品的设计、制造及生产管理等核心流程数字化建设中取得了很大成就。但相应的装配状态检测工作方面数字化、自动化程度还不高。

什么是装配状态检测？

大型复杂机械产品装配检测工作可分为两类：
►状态检测：验证零件的存在性、姿态的正确性与尺寸偏差要求较低的定位正确性、简单的连接关系正确性。
►关键要素检测：验证精确的定位正确性、复杂的连接关系正确性、性能实现与功能实现。 其中关键要素检测是重要特性验证，如螺栓预紧力是否达标，组件气密性是否保证等，通常已具备自动化能力。大型复杂机械产品的装配检测中存在的问题主要体现在状态检测方面。

为什么这件事存在难度？

大型复杂机械产品装配状态检测有其特殊性，具体表现在以下方面。
►大型复杂机械产品的体积与形状使得难以建设专用光学检测装备(AOI)，通常需要多次图像采集实现区域覆盖，增加了自动化检测难度；
►此类产品上存在众多装配精度较低部件，且装配状态多变，难以应用数字图像处理(DIP)技术简单分析装配状态。
►简单使用图像匹配技术验证零组件的存在与否要求对零组件进行多角度大量图像采样，大量增加工作负担且执行耗时。
►大型复杂机械产品的检测要求明确的结果信息，如某部件缺失或位置不正确等。需要检测方法能够对待检目标进行语义级描述。

人工智能方法能做什么？

人工智能技术近年来快速发展，在大量工业场景得到有效应用。因此使用人工智能相关技术实现装配状态检测自动化成为可行研究方向。但人工智能方法目前只能对图像数据进行简单的分类与图像定位，并不能满足大型复杂机械产品装配状态检测实际要求。因此还必须研究寻求能够应用于本领域需求的特定方法。

装配状态检测自动化方法的技术设计

总体而言，要实现大型复杂机械装配状态监测的自动化，需要综合硬件、软件、人工智能方法与数字图像处理方法等多种 IT 前沿技术，并深入理解工业
产品装配状态规程的要求。为清楚阐释这样一个自动化系统是如何工作的，我们首先从业务角度，分析大型复杂机械产品的装配状态检测自动化所需要的信息并将其表示为特定数据对象集结构。然后在此基础上，介绍综合人工智能技术与数字图像处理技术的自动化装配状态检测方法。

对装配状态检测过程中关键要素的数字化建模

关键要素的数字化建模主要分为三个部分，即检测规程(Routine Data)数字化，装配现场采集信息(Inspection Data)数字化以及待检物样本 (Training Data) 数字化。

装配状态检测信息数字化

装配状态检测规程定义了需要进行比对的各种检测操作。可以将装配状态检测规程内各操作所蕴含的信息进行分解为存在性，定位正确性，姿态正确性以及连接关系正确性，使其转化为可自动化的任务类型。各任务类型具体含义如下：
►零组件的存在性：所关注的零组件是否已经安装，是否有多余的零组件被误装；
► 零组件定位与姿态的正确性：所关注的零组件其定位是否符合要求，是否以正确的姿态装配，如某些支架的定位与朝向；
►零组件之间连接关系的正确性：所关注的零组件之间是否以正确的方式连接；
基于这样的任务区分，我们就可以将检测规程由非结构化文档转换为标准数据对象结构。
这里检测任务为某具体的检测工作，检测项为该检测任务中需要检测的所有目标列表，目标即构成装配体的各零组件。其中每个具体目标除自身ID外，还包含目标对象信息，该信息为待检测目标的理论结构 信息。待检目标ID具有唯一性，而目标对象可以重复。例如检测一个 M12 标准螺栓，待检目标是一个具体的螺栓实例，而目标对象是该类标准螺栓零件。某次检测可能存在10个这样的螺栓，对应10个检测目标ID，它们具有相同的目标对象。
检测目标中的目标位置表示了这个具体待检目标在整装配体上的位置信息。它是检测目标自身的坐标在装配体全局坐标上的相对关系。我们使用最小包围盒(minimum bounding box, 简写为 MBBti 表示该相对关系。姿态要求表示了该零件检测要求中是否包含姿态检测，对于没有姿态要求的零组件该值取布尔值fault，反之取布尔值true。对于有连接关系要求的检测项，则在该检测目标后增加关联目标键，其值为需要关联的目标列表。

现场采集信息数字化

装配现场数字化是指对真实装配场景的数字化表示。一般的，装配状态检测场景的数字化形式为图像数据。后续方法将从获取的图像数据中抽取特定信息后与数字化的检测目标进行比对。由于大型复杂机械产品通常尺寸较大且形状复杂，无法通过一次图像数据采集完成所有检测工作。因此所采集数据是一个数据对象集合。
其中采集任务指示了某一次具体的数据采集过程，检测任务定义了本次采集数据所参照的装配规范对象。采集数据列表中包含了一系列对检测对象的图像数据采集，每一个采集图像数据都以一个字典数据结构表示，其中，采集标识指示了某一个具体的采集数据，采集位姿表示了采集该图像数据时采集设备相对于采集系统原始坐标标架的相对位置，使用齐次坐标形式的投影矩阵(homogeneous transformation matrix, 简写为 HTMti 表示这个相对关系。采集焦距给出当前采集图像时的设备焦距，采集数据即为实际获取到的图像数据，以三维数组标识。
此外，在大型复杂机械产品装配实际中，通常无法保证待检的装配体处于同一位置，以及具备相同的外部光照条件。因此在自动化装配状态检测中，对装配体进行的图像采集各数据其覆盖区域也会发生变化。基于这个原因，还需要引入这被测装配体与图像采集设备之间的相对位置关系表示。为此定义设备定位的变换矩阵，该矩阵同样是一个 HMT，表达图像采集设备的坐标标架到装配体坐标标架的变换。

待检物样本数字化

为构建能够智能识别零组件的机器学习模型，就必须预先积累待识别目标的数据以及基于所积累样本标定的数据标签，并将其关联起来构成待检物样本数
据，也即机器学习模型构建所要求的训练集。本方法要求待检物样本数据构建遵循目标检测(Object Detection)类机器学习模型构建用训练集构建规范。

基于人工智能与数字图像处理技术的装配状态检测自动化方法

直接上流程图：

必须说明的是，应用该方法需要构建自动图像采集设备。该设备应具有下述能力：
►能够自主驱动图像采集器采集多张图像数据，使得所采集图像能够覆盖装配体的检测面。
►能够在采集图像时记录图像采集器当前位姿相对于其整体坐标原点的HTM。
该方法还需要构建准确装配检测基准，这是一个经过验证确认正确的装配体原型。自动图像采集设备需要对该原型进行一次数据采集，为后续所有其它装配检测建立参照。 最后，该方法需要实际的待检测装配目标，这是所有需要进行自动化检测的装配体对象。
流程说明：
本方法将智能检测过程分为两个阶段，其中：
检测系统构建阶段对每种装配体检测只执行一次，主要任务是根据装配检测要求，构建用于装配检测的智能识别模型与装配检测基准。该阶段主要包含以下工作：
►检测参考数据 (Inspection Data Reference) 采集使用自动图像采集设备对准确装配检测基准进行数据采集，获得检测参考数据。该数据结构与装配现场数字化信息数据完全相同，用于完成当前装配状态的检测基准构
建。
►目标检测模型构建使用前述 Training Data 数据完成一个面向图像数据的智能目标检测模型训练。该过程为标准人工智能目标检测建模过程，并可以在成熟模型基础上进行迁移学习，以提升模型对目标检测的分类查准率与定位精度。
►使用目标检测模型对检测参考数据进行识别检测参考数据中的图像数据输入所完成的目标检测模型，输出目标检测结果列表。
►位姿目标特征与关联目标特征抽取为后续检测操作中位姿检测与连接关系检测提供参照基础。
这个阶段的主要任务是为检测系统执行进行数据准备。
检测系统执行阶段在所有具体的装配体检测任务上执行。其主要任务是使用软、硬件结合的智能系统对装配体进行装配状态检测，并形成检测结论。该阶段主要包含以下工作：
►使用自动图像采集设备对待检测装配体进行数据采集，获得检测数据。
►使用检测系统构建阶段所完成的智能模型对获取的检测数据进行识别，获得待检装配体的目标检测结果列表，其结构与装配系统构建阶段所生成列表相同。
►从检测规程数据中获取各元素的 MBB 数据，以及检测数据中的变换矩阵数据进行解算，获取各元素最小包围盒在采集图像上的二维投影范围。将计算所得二维投影范围与本次目标解测结果进行匹配，获取检测规程数据中各元素与目标检测结果中的对应关系。
►对检测规程中要求存在性检测的要素，直接使用第三步所获取的对应关信息验证其存在性。
►对要求位姿检测的要素，使用检测系统构建阶段获取的图像特征数据，在本次匹配所获取目标检测结果中对应的数据中进行图像特征匹配。匹配结果是以图像空间为坐标标架的变换矩阵，将其与本次检测所标定的HTM及装配基准构建所标定的 HTM 联立可求解被检测目标位姿与基准位姿间
差异，该差异即用于判别当前装配体位姿的正确性。 6ti对要求连接关系检测的每个要素组合，逐一计算其中每个要素与基准位姿间差异，然后以该要素组合中各要素的位姿差异偏差判别该连接关系的正确性。

实际操作

为了验证这种方法在大型复杂机械产品装配状态检测中的适用性，我们构建了相应的软、硬件一体化检测系统，并在某复杂机械部件装配工作中进行了验证。该检测系统涉及人工智能、自动控制、数据分析等多种关键技术，是典型的跨学科，跨领域复杂系统。具体的说，以下具体验证方法被使用，以验证本方法中的关键技术项。

验证方法可以分为硬件功能实现与算法能力验证两部分，此外还涉及实际验证目标的选择与实际验证结果说明。
自适应硬件控制系统开发目标保证保证工业相机能够被载运到待检部件进行多方位拍摄完成高质量图像采集，并且能够获取采集图像是相机的位姿信息，即前述HMT。此外在大型复杂机械产品装配中，基准位置通常难以保持一致性。因此图像采集不能依赖事先定义好的坐标值，必须记录待检目标与机器人之间的相对位置用于图像匹配，硬件控制系统通过标定方法实现功能。检测样机硬件设备主要包括具有自适应调整能力的工程辅助设备和感知设备。具体硬件如下表所示。

其中协作型机器人用于控制工业相机相对待检对象进行移动。设备选型主要依据工作半径及所需最大负载确定。工业相机通过支架安装于机器人工具端头后的实际效果如下图所示。

检验的软件架构和数据流程架构是数字化检验系统的核心部分，其通过各类智能算法和三维模型对采集到的部件数据进行识别判断，依托各种设备的数据采集和计算能力，以大数据、人工智能、图像识别等先进技术为基础，构建满足当下及近未来一段时间飞机部件装配检验的数字化技术体系和流程结构，并以使其满足工程可行性。 软件系统架构分为应用层、数据层、系统层和硬件控制等四部分，各层在数字化装配检验架构体系要求的基础上，按照功能进行划分，层与层之间并非完全独立存在，而是相互紧密联系，层内各功能模块之间也是互相紧密相关。下图是所构建的数字化装配检验系统软件架构图。

在上图中，应用层是完成具体应用任务的软件程序，数据层是包含应用层软件所需相关数据的支持服务层，系统层是对系统进行后端开发和智能识别模型开发的部分，硬件控制是用来控制硬件层设备按照任务和数据要求进行工作的程序层。
软件架构的核心部分是系统层和数据层，系统层包括系统开发和识别模型两部分，数据层包括先验数据和检验数据两部分。其中智能识别算法模型是数字化装配检验的核心，硬件层设备采集到的部件数据加上数据层已有的先验数据，都需要传送至智能算法模型进行识别判断，因此，模型本身的好坏直接决定着判别结果的准确性。智能算法模型既可采用传统的图像匹配与规则识别类算
法，也可采用最新的基于深度学习的物体分类识别算法，相较于传统机器学
习，深度学习算法所需的数据量更大，且对数据服务器性能要求更高，但传统的机器学习在识别任务多样性、准确性等方面又有较大欠缺，且对于复杂场景下多物体的识别能力也有不足。本文通过尝试在识别检测任务中，采用不同的算法模型，根据各模型判别结果优劣择优输出。
数据层所包含先验数据包括装配工艺数据和CAD三维模型数据，装配工艺数据包括安装尺寸、定位精度、连接状态、表面质量、配合性质、结构形式等待检部件的装配数据，数字化检验过程就是以此为技术标准进行检验判别；CAD三维模型数据是部件完整装配状态的三维空间分布结构，当二维数据无法清晰表达部件的空间姿态和更多的细节信息时，需要通过CAD三维模型来确定部件的实际装配布局和空间关系。
在智能识别系统构建方面，由于工业领域需要处理的目标对象缺乏大量的数据样本，因此很难从头训练成熟的智能目标识别模型，必须使用迁移学习方法（Transfer Learning）。该方法将现有成熟的基于通用标签图像训练生成的模型，结合本项目应用实际的待检场景图像，使用冻层和微调等技术手段，实现对成熟卷积网络前端几何特征捕捉的复用与后端面向业务的样本分类的结合。经迁移学习，我们得到了适用于装配场景的零组件识别，模型性能良好，对零组件的检测性能达到 90% 以上。

最终完成的系统软件运行界面如下所示。

总结： 针对当前大型复杂机械结构装配状态检测过程中存在的问题，我们研究了综合人工智能、数字图像处理、机器人控制、装配机理等跨学科领域知识，给出了一种大型复杂机械产品的装配状态检测自动化，并验证了此方法的合理性和可行性。上述研究对解决产品装配安装状态监测模式创新、通过加强过程控制从而提高产品装配的精确度和完成度有重要的技术价值和实际意义。