工业视觉检测—制造过程中的缺陷和异常检测

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨DOROTA OWCZAREK

来源丨新机器视觉

本文内容要点:

• 生产线的传统检验

• 基于人工智能的计算机视觉能否检测缺陷并识别异常？

• 将机器学习应用于质量检测——行业案例

• 视觉检测系统与定制机器学习模型

• 基于人工智能的视觉异常检测在制造业中的优势

• 高效制造和高级深度学习异常检测模型的未来

在工业生产中，缺陷和异常的检测对于保障质量标准至关重要。在许多情况下，人工质检习惯于在产品下线时对其进行检查。然而，随着机器学习和人工智能的出现，现在可以使用自定义模型来检测产品中的缺陷和异常。在这篇文章中，我们将探讨机器学习在视觉检测中的应用，并讨论它为制造商提供的一些好处。我们将研究不同行业的实际应用，并了解为什么基于人工智能的视觉异常检测在现代制造设备中越来越受欢迎。

生产线的传统检验

自工业时代开始以来，制造商一直在使用不同的技术来监控装配线上的工艺和产品质量。早期的产品质量检测主要靠人工来完成。但随着制造业规模化和工业自动化的发展，在生产线上监控质量和检测问题自然变得越来越困难。质检员很难处理大批量数量的产品，个人主观性容易影响检测结果。再加上任务的单调性、重复性，会导致疲劳，更是增加出错的可能。

异常检测自动化简介

自动化对制造商来说是一个突破，他们能够在不影响质量标准的情况下大幅增加产量。目前的科技水平已经能够在大部分生产流程中实现自动化，包括最容易出错的任务，如缺陷和异常检测。科技开发人员正常改变传统规则，用灵活的、自学习的和自我改进的方法取代程序化的、适应性差的方法。

计算机视觉和机器学习辅助异常检测

传统的视觉检测有许多局限性—最大的局限性是反应相对缓慢。一旦机器检测到异常或缺陷，它可以触发自动反馈，而在没有人工智能的情况下，这些操作必须手动执行。在生产制造过程，每一秒都很重要，这会适得其反。比如在制药行业，一个相对较小的问题可能会影响整个批次，造成巨大损失。

另外质量保证的一致性。有了自动化工具，所有关于缺陷和异常的数据都会留在系统中。机器可以从中得出结论，不断提高其检测能力。而在传统的缺陷和异常检测方法中，质量检测的有效性可能会随着任何人员变动而大幅下降而增加成本。

基于人工智能的计算机视觉可以解决这些问题，提高了质量控制和质量保证。

基于人工智能的计算机视觉能否检测缺陷并识别异常？

人工智能模仿人类行为——作为其分支，计算机视觉再现了人类解读图像的能力。该技术借鉴了人类视觉系统的复杂性，模仿其处理视觉信息的方式。虽然拍摄图像的谜团在数百年前就被解开了（并随着相机的发明而被封存），但图像解释它一直是一个困难的部分。有了人工智能，这一切成为可能。

人类视觉过程

在计算机视觉的情况下，眼睛被传感设备和视觉皮层所取代——由机器学习算法驱动的解释设备。通过使用大型图像数据集进行训练，深度学习模型可以解释给定图像的内容。该机制用于制造缺陷和异常检测。

基于人工智能的计算机视觉，可用于异常和缺陷检测

以满足所有质量要求的完美产品的图像样本为样本，深度学习模型形成了自己的逻辑，学习识别不同类型的缺陷。设备捕获的图像将根据其进行评估，如果不匹配，则立即标记缺陷。开发人员可以利用不同的方法，创建生成性异常检测算法，如贝叶斯网络、递归神经网络（RNN）、卷积神经网络（CNN）、GAN或变分自动编码器。

在最常见的情况下，算法将产品分类为有缺陷或无缺陷。模型还可以通过监督学习进行训练，根据缺陷的严重程度、类型或状态对其进行分类。这使我们能够创建更复杂的自动触发反应机制，并收集详细数据。

将机器学习应用于质量检测——行业用例

竞争日益激烈的创业环境使制造商不断提高产品质量，基于人工智能的自动化工具可以在这一过程中提供宝贵的支持。有了计算机视觉，他们可以更有效地评估产品质量，而无需雇佣额外的人工。

下面的应用案例证明了这项技术的多功能性。让我们更仔细地看看跨行业的缺陷和异常检测应用案例。

制药和生命科学中的视觉检测

细胞系的交叉污染是制药和科学实验室每天面临的最常见风险之一。有时，只要一滴管被意外重复使用，污染就会发生。它们可能会对实验室研究产生负面影响，甚至使药品无法使用，这些结果可能高昂代价。

保持质量标准和培训，制药公司可以降低交叉污染的可能性，但它仍然可以发生——图像处理和深度学习可以帮助在早期识别交叉污染。深层神经网络可以检测细胞的微小形态变化，保护制药公司和实验室的结果不被掺假。例如，来自ATM（翻译医学年鉴）的案例研究证明，神经网络（特别是BCNN）在识别细胞系方面可以达到接近100%的准确率。

对于生物技术公司来说，检测检查用于监测细胞培养、识别交叉污染和跟踪形态学变化。深度学习模型可以在人眼（通过显微镜）尚不可见的阶段检测到这些变化，从而有可能及时采取预防措施，避免代价高昂的失败风险。专门的ML软件分析细胞图像，并提供具有有价值的报告，以帮助客户提高研究效率。

视觉检查也有助于制药公司控制包装。制药公司必须遵守有关其药品容器的严格规范和规定。大多数产品要求密封，并使用特定材料。同时，包装上的任何缺陷都会影响药物的效率和保质期。有了计算机视觉，这样的问题可以在早期发现。

半导体制造过程中的缺陷检测

视觉检测可以帮助各个行业的公司关注产品本身的质量，同时也关注产品的状态。它们可以使用图像处理来监控半导体制造过程，例如清洁、薄膜沉积、蚀刻、曝光、注入、抗蚀剂涂层、杂质注入或热处理。该模型可以检测晶圆层面的异常情况，并将诸如预放置检查等过程自动化。

规则是一样的——基于深度学习算法的视觉检测系统在每个半导体工艺完成后，都会通过优质产品的图像进行训练，并学会识别缺陷。在这种情况下，由于缺陷可能很难检测到，良好的图像处理设备是至关重要。

半导体和芯片制造中的缺陷检测结果（摘自《自然》杂志）

电子产品制造商的质量保证

在电子制造业中，视觉检查的能力尤其令人令人惊叹。训练有素的模型甚至可以检测到肉眼几乎看不见的微小缺陷。使用深度学习技术来发现微芯片、变压器、显示器、CPU和其他制造部件中的潜在异常——其中包括许多非常小的部件。

为了保持成像的非破坏性，电子制造商倾向于从CT扫描中提取有关缺陷的信息。使用X射线断层扫描，他们可以生成制造元件的射线投影。生成的图像随后由算法转换为其三维表示。

由于元素的复杂性，制造商有必要将分析范围缩小到易受缺陷或损坏的零件。否则，为缺陷/异常检测对深度学习网络进行适当培训将是一项挑战。

化学品生产中的视觉检测

尽管乍一看，视觉检查方法似乎不是最适合评估化学品制造质量的方法，但事实证明它们是有效的。在典型的化工生产中，样品会被送到实验室进行手动测试。这一过程既不高效也不准确，因为少数样品可能无法代表整个批次的质量。与此同时，在化工生产线上测试每一种产品远远不划算。

制造商可以使用计算机视觉以更快、更便捷的方式评估其质量。视觉质量检查的机制类似于固体物体的情况——模型使用符合质量标准的化学产品图像进行训练，并相应地对装配线上的产品进行分类。计算机视觉可以根据物质的颜色、分层或物理状态检测异常。如果产品已被氧化，则可以自动将其从生产线中分离出来，或将其从生产线中重新定向。

虽然，这种方法有一些局限性，因为化学物质中的一些缺陷是无法检测到的。然而，视觉检查可以为化学品制造商采用的质量保证体系增添可参考价值。

视觉检测系统与定制机器学习模型

虽然市场上有很多视觉检测系统，但许多公司仍然决定坚持使用定制的机器学习模型。原因很简单——因为标准视觉解决方案为了适应不同行业的需求，会导致一些行业差异大的产品检测弊端。

即使它们在一定程度上是灵活的，也不能保证不同行业的个性化检测需求。例如，用户可能无法使用自己的训练数据集训练系统，被迫使用内置数据库。如果他们的产品及其功能是独特的，那么这样的解决方案可能不足以在执行严格的异常检测需求。

选择开发定制的机器学习模型，公司可以根据任务的具体情况调整其类型（以上述细胞系检查为例，BCNN已被证明能提供最准确的结果）。使用自己的模型，他们还可以提取感兴趣的区域以提高准确性，而标准系统通常不提供这种可能性。因此，那些选择定制异常检测模型而不是标准解决方案的通常会获得更令人满意的结果。

基于人工智能的视觉异常检测在制造业中的优势

人工智能正在以多种方式彻底改变制造业，带来诸多好处。通过基于人工智能的视觉检测，制造商可以通过以下方式降低运营成本：

通过预测性维护防止停机

减少劳动力需求

卸下质检员的重担，把他们委派给要求更高的任务

减少退货和投诉的数量

同时，他们可以提高客户满意度，提高公司的声誉。交付市场的缺陷产品越少，满意度就越高。

高效制造和高级深度学习异常检测模型的未来

在质量保证中，基于深度学习的异常检测方法的广泛采用是不可避免的。市场上日益激烈的竞争，以及满足消费者期望的需求，将迫使制造商寻找优化生产线的新方法。将机器学习算法应用于视觉检测任务就是其中之一，这一举措可以为大公司节省数大量成本，并提高生产过程的效率。

异常检测无疑将塑造许多行业的未来，使我们的生活更轻松、更健康。毕竟谁不想收到一个经过全面质量检查的产品呢？

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~