高斯混合模型聚类_基于高斯混合模型的青梅表面缺陷检测识别技术

青 梅

青梅含有丰富的氨基酸、脂类、无机盐、维生素和微量元素，具有很高的营养价值和药用价值，对人体蛋白质组成和正常代谢十分有益。

青梅缺陷和主要指标成分对其精、深加工过程有重要影响，但目前青梅的缺陷检测与分级仍然依靠人工完成，存在着效率低、质量低等问题，远远不能满足青梅制品的生产需求。 为提高青梅制品的品质和附加值，在青梅表面缺陷检测工作中引入机器视觉技术对青梅品质进行无损检测，以提高青梅制品生产过程的自动化和智能化水平，推动青梅制品产业的升级。

国内外利用机器视觉技术对农林产品进行无损检测的研究已经比较成熟。

·Hussain Hassan等提出了一种基于纹理分析和均匀性纹理测量的橄榄缺陷检测技术，对A类橄榄分类精度为98％，对B类橄榄分类精度为99％，对健康橄榄分类精度为100％。

·李龙等设计了一套包括传送装置、图像采集装置和分拣装置在内的苹果内外品质在线无损检测分级系统。

·王旭利用巴特沃斯低通滤波技术对柑橘的灰度图像进行滤波处理，获得了柑橘的亮度分布图像，应用柑橘的图像阈值分割算法成功识别出柑橘表面存在的溃疡、损伤等缺陷。

·刘佳男以柑橘和砀山梨的缺陷纹理特征值、平均灰度、缺陷面积占果实表面总面积的比例作为BP神经网络的输入，柑橘和砀山梨的6种缺陷作为输出， 完成了水果的缺陷识别与分类。

·Iqbal等提出对水果表面颜色数据进行机器学习来判断水果表面质量，该方法需要提前对大量不同的背景、缺陷表面、正常表面、果梗的RGB组合数据进行训练，但是由于水果表面颜色信息的开环多变性，且没有提及实际光照变化对训练方法的影响，因此，通过实际应用完成所有类型的先验重复频繁训练不太现实。

·Zhang等使用环带区域灰度平均数值法矫正水果表面亮度不均匀灰度，然而当水果为不标准球状或者水果位置不在相机视场光轴中心时，亮度矫正仍会出现不均匀现象。

虽然机器视觉技术在农林产品无损检测中的应用较为广泛，技术较为成熟，但针对青梅果实的无损检测技术研究较少。

南京林业大学刘阳，刘英等 采用高斯混合模型(Gaussian mixture model，GMM)，结合EM(expectation-maximization)算法提出一种青梅缺陷分类模型，并建立了一个青梅缺陷检测分级系统。  

１　检测装置

在实际的工业应用中，需要研发出一套集青梅快速动态检测和分选为一体的青梅智能分选设备来实现青梅品质分选。为满足工业化应用的需求，本研究通过机器视觉对青梅表面溃烂、伤疤以及雨斑缺陷进行静态识别，提高青梅后续的分级及深加工效率，为最终实现青梅快速动态检测和分选提供前期技术支持。在保障青梅图像质量的前提下，为实现较高的图像采集速度，光学镜头选用 Computar 公司生产的 M1620 MP2 型工业相机镜头，焦距 16mm ，最小物距 20cm ， 500 万像素；工业相机选用北京大恒图像技术公司的 MER-531-20GC-P 型工业相机，相机采用 1 ” Onsemi PYTHON 5000 帧曝光 CMOS 传感器芯片，集成千兆以太网接口，彩色光谱，适合相对恶劣的工作环境；光源采用 LED 环形光源。青梅表面图像采集平台见图 1 。在采集图像时，通过调节光源与背景板之间的距离及角度、相机的工作距离与光圈大小，寻找可以使青梅表面图像质量较佳的光源与相机位置。在实际拍摄时，相机安装在位于传送带上的暗箱中，使用 LED 环形光源给图像采集提供稳定的光照环境，可以保证图片质量的稳定性。

2　检测算法

2.1 　青梅缺陷图像预处理主要流程 将相机采集到的 BMP 格式的三通道彩色图像分割为 R 、 G 、 B3 个单通道的单色图，并将这 3 个单色图转换为 HSV ( H 为色调、 S 为饱和度、 V 为明度)色彩空间，对采集的图像经过 S 通道分量提取、高斯滤波、特征提取以及分割后，将青梅从原始图像中提取出来，排除背景上其他干扰条件，降低后续处理与分析的复杂程度。对于在暗箱条件下采集的图片，利用高斯滤波可以有效减少图像中的噪点。 2.2 　青梅缺陷图像特征提取 对青梅表面的缺陷检测，需要提取出有效的感兴趣区域，剔除其他干扰。根据青梅的表面缺陷特征，可以将其分为溃烂、伤疤、雨斑，如图 2 所示。青梅缺陷图像特征提取流程见图 3 。缺陷部分与正常表面的最大差异在于颜色的不同，缺陷部分颜色大多偏褐色甚至黑色，可以推断缺陷部分的灰度值较低，而正常表面的灰度值较高，利用这一差异可以从其单通道灰度图像中经阈值分割将缺陷提取出来。

2.3 　青梅缺陷检测原理  常见的分类器模型有多层感知器(multi-layer perceptron，MLP)、支持向量机(supportvector machine，SVM)。MLP是一种前向结构的人工神经网络，很难确定网络的隐含节点个数；经典的SVM算法只有二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。高斯混合模型用多个模态精确量化事物，对复杂的背景有较强的适应性和抗干扰能力。因此，初步确定选用高斯混合模型建立青梅缺陷检测分级系统。高斯混合模型(GMM)可以用较高的精度表示任何连续分布，多个高斯分布叠加可形成混合高斯分布，定义集合 v ＝ { v _n ， n ＝1，2，…， N } ，表示从训练集中提取的局部特征描述子集合， v _n 为Ｌ维特征向量，假定 v 服从混合高斯分布，则高斯混合模型的概率分布模型［ u ( v )］为：

式中： μ _k 为GMM中第 k 个高斯分布的均值； o _k 为GMM中第 k 个高斯分布的协方差矩阵。GMM中的参数根据从大量训练样本中提取的局部特征向量集 v ，采用EM算法优化最大似然函数迭代求解。GMM中初始的 μ _k  、 o _k 和 ω _k 由 k 均值聚类算法得出，根据这些初始参数，运用EM算法计算 γ _nk ( Ｅ 步骤)：

2　检测与分类

3.1 　青梅缺陷检测

 在对青梅图像执行通道分解、灰度二值化等操作后，发现青梅果实的6个颜色通道(R、G、B、H、S、V)分量的图像经阈值分割后，因为果实边缘一些区域与缺陷区域灰度值相近易导致其被误判为缺陷。通过对比青梅果实各通道阈值分割后的图像，发现r通道发生边缘误判情况最严重，边缘灰度范围与缺陷区域灰度范围重叠区较大，最难实现边缘与缺陷的分离提取；而H通道发生边缘误判情况最轻微，阈值分割后，果实边缘仅有一些孤立点与缺陷区域灰度范围重叠。虽然可以通过前述取连通域后按照连通域的特征提取缺陷，但每种缺陷的形状、大小、颜色等特征不一，难以采取统一的提取标准将缺陷从阈值分割后的图像中提取出来，使青梅缺陷检测工作变得复杂。为了在缺陷检测识别中避免使用特征提取法而又能达到精准识别缺陷的目的，本研究采用边缘检测方法检测出青梅果实边缘并膨胀数倍作为掩模区域，并从Ｈ通道阈值分割后的图像中剔除掩模覆盖的区域，留下缺陷区域Region 1。采用边缘法对包含溃烂、伤疤、雨斑3种缺陷的青梅进行缺陷检测的效果见图４，其中，溃烂缺陷的面积较大，占果实总面积的比例较大；雨斑缺陷多为斑点，数量多且孤立，斑点所占面积较小。另外，从对应的果实彩色图可以发现，3种缺陷对应的果皮颜色也不相同。上述众多特征皆为青梅缺陷分类及品质分类提供依据。

3.2 　高斯混合模型分类

 高斯密度函数估计是一种参数化模型。高斯混合模型是单一高斯概率密度函数的延伸且能够平滑地近似任意形状的密度分布。高斯混合模型种类有单高斯模型(single gaussian model，SGM)和高斯混合模型两类。类似于聚类，根据高斯混合概率密度函数(probability density function，PDF)参数不同，每一个高斯模型可以看作一种类别，输入一个样本x，即可通过PDF计算其值，然后通过一个阈值来判断该样本是否属于高斯模型。SGM适合于仅有两类别问题的划分，而GMM因具有多个模型，划分更为精细，适用于多类别的划分，可以应用于复杂对象建模。采用高斯混合模型对感兴趣区域内交叉点进行分类，其难点在于特征参数的选取。通过对比青梅果实的3种缺陷可以发现，每种缺陷所对应的果皮颜色有所不同，形状大小特征也不同。因此，本研究采用HALCON图像处理软件对采集到的青梅表面图像进行处理，以青梅果实缺陷的R、G、B颜色分量值、缺陷圆度、矩形度以及紧密度共6个特征参数为v_n向量中的6个元素，并将v_n作为高斯混合模型的输入信号，输出信号则为存在溃烂、伤疤、雨斑３种缺陷的青梅及完好青梅。其中，缺陷圆度、矩形度以及紧密度这3个特征参数分别通过circularity(Region 1，circularity)、rectangularity(Region 1， Rrectangularity)和compactness(Region 1，compactness)3个算子得出。青梅缺陷检测测试结果见表1。从表1可以看出，在对测试集中77张青梅缺陷图片利用GMM、MLP、SVM3种分类器分类对比后发现，GMM分类器的误判数量少于MLP、SVM。其中，GMM对青梅缺陷检测分类的准确率达96.10％，相比于MLP、SVM算法，缺陷检测准确率分别提高了14.28％和7.79％，说明利用多模态精确量化事物的高斯混合模型相比MLP、GVM更适用于对青梅缺陷的检测。

4　检测分级系统

4.1　分级标准

 目前国内对于青梅的等级还没有明确的分级标准，本试验根据南京某农业发展有限公司的实际需求提出了一种青梅的分级标准，将青梅等级分为三级：无溃烂、伤疤、雨斑缺陷，即完好的青梅定级为一等品；无溃烂缺陷且表面缺陷面积小于水果面积3％的青梅定级为二等品；存在溃烂缺陷或表面缺陷面积不小于水果面积3％的青梅定级为次品。

4.2　青梅缺陷检测分级系统的实现

  本系统软件是采用HALCON HDevelop 18．11 Steady与C^＃联合编程， 并基于Microsoft Visual Studio 2o17自主开发设计了一个青梅缺陷检测分级系统，其主要界面见图5。其中，图像读取功能可以实现连接相机或加载本地文件2种方式获得待处理的青梅图像，通过点击工作界面左上角“图像读取”选择图像读取的方式，获得的图像可在工作界面左侧窗口显示。在图像读取的同时，利用系统自带的图像高斯混合模型分类器进行训练。图像处理功能，可以在点击工作界面左上角“图像处理”时，对获得的图像自动进行处理分析，获得图像中青梅果实表面所存在的缺陷图像，并在工作界面的右侧窗口显示。青梅分级功能，可以在获取经处理分析的缺陷图像后，利用高斯混合模型分类器实现对青梅品质的分级，分级结果在工作界面右下角显示。图像保存功能，可以在创建的SQL sever数据库中保存图像的分级结果，即图像路径。青梅缺陷检测分级系统共处理了348张图片，系统最小能够分辨半径为5μm的圆面积缺陷。对3种缺陷分别用阈值分割从H通道中提取出来，其中一张缺陷图像运行结果如图5b所示，图中正确识别出了青梅溃烂缺陷特征。该系统对带有溃烂缺陷的青梅检测准确率为100％，对带有伤疤缺陷的青梅检测准确率为97.22％，对带有雨斑缺陷的青梅检测准确率为92.31％，对完好青梅的检测准确率为94.44％。

结 论

受工作经验和劳动强度等因素的制约，青梅缺陷检测难以适应产业的发展。针对该问题，本研究通过搭建青梅表面图像静态采集系统，采用图像处理软件 HALCON HDevelop 18 ． 11 Steady 对青梅表面进行了单通道灰度图像提取、图像滤波、灰度二值化及特征提取等预处理操作，实现了对青梅表面图像的去背景化，并利用去边缘法在青梅 H 通道分量图像成功提取到青梅表面缺陷。最后采用高斯混合模型对青梅表面缺陷进行分类，并创建了一个基于机器视觉的青梅表面缺陷检测分级系统。本算法具体采用 348 张青梅缺陷图像作为训练测试样本，其中 271 张为训练集， 77 张为测试集，结果表明：对带有溃烂缺陷的青梅检测准确率为 100 ％，对带有伤疤缺陷的青梅检测准确率为 97.22 ％，对带有雨斑缺陷的青梅检测准确率为 92.31 ％，对完好青梅的检测准确率为 94.44 ％。验证算法的应用验证了青梅缺陷检测的有效性。笔者构建了青梅缺陷检测分级系统界面，该系统能够实现图像采集、图像处理、青梅分级，并将分级结果保存到 AQL sever 数据库中。但是在实际应用中，不仅需要对青梅全表面进行采集以充分获取青梅表面缺陷，青梅分级标准还需要根据实际精确计算青梅全表面缺陷面积，以便根据缺陷面积占比对青梅进行分级。本系统设计的青梅图像采集系统是对青梅某一部分表面的静态采集，目的是为了验证算法以及系统的可行性，为实现动态、全方位采集提供理论和实践基础。目前主要围绕现有的缺陷样本进行识别，后续还将扩充样本库，搜集碰撞等原因造成的损伤和缺陷样本以进一步验证系统的可行性和精度，并将通过构建、修正青梅三维模型来实现青梅品质的精确分级。 该文发表于《林业工程学报》2020年第4期。 引文格式：

刘阳,丁奉龙,刘英,等.基于高斯混合模型的青梅表面缺陷检测识别技术[J].林业工程学报,2020,5(4):139-144.LIU Y,DING F T,LIU Y,et al.Detection and recognition technology of green plum surface defects based on Gaussian mixture model[J].Journal of Forestry Engineering,2020,5(4):139-144.

▼更多精彩推荐，请关注我们▼ 把时间交给阅读 图片来源于网络 排版：Rachel

戳