基于目标物体检测技术的工业机器人分拣技术研究_对工件目标检测

本课题研究的目的、意义

随着我国经济的不断发展，以工业机器人为基础的自动化生产过程在零件装配、货物包装以及3C产业等领域中较为常见。越来越多的企业将以往工厂中通过员工手动完成的任务交给机器人去完成，大大节约了企业的劳动成本，提高了产品的生产效率，从而提高公司的经济效益。同时，机器人也被应用于汽车制造行业和医疗等领域，保证了处于危险环境下工人的人身安全，使生产模式逐步由传统的以工人为主导转变为目前的以工业机器人为主导。
传统的机器人大多采用示教编程或离线编程的方法，使机器人做点到点的运动，而实现较为复杂的运动轨迹是比较困难的，就达不到流水线的柔性、自动化生产。这类传统的方法也对待抓取的物体的摆放位置有一定的要求，例如，待抓取物体形状或工作环境改变时，就需要对程序进行重新编写，自动化程度并不高。随着中国制造2025时代的到来，智能化被人们高度重视，现如今，工业机器人也不断的朝着智能化的方向发展，更多的是把机器人与视觉技术结合起来，在零部件及货物的自动化包装、拆卸和搬运的过程中，怎样得到这些目标物体的特征并对其进行分类和识别是非常重要的一个部分。
在过去的几十年里，基于2D图像的研究己经较为成熟，基于图像的视觉技术是目前目标识别中最常用的方法，该技术被广泛的应用于人脸识别、医学检测等领域，主要使用的是模式识别与图像处理方面的知识，对比多幅图像的共有景物，对图像信息进行处理，其中，包括分割、特征提取等过程，从而实现目标的识别与分类。相对于2D图像，物体3D点云信息增加了一维信息，它相比2D图像的优势如下：

1. 3D点云信息增加了深度信息，对物体的描述更加全面；
   2)对物体的点云信息进行特征提取不受尺度、旋转以及光照的影响 .
   3)基于2D图像的视觉技术可以得到物体的3DOF信息，而3D视觉技术可以得到物体的6DOF信息这些优势使得视觉领域的热点逐渐的进入3D视觉。
   随着传感器技术的不断发展，微软在几年前推出了深度传感器Kinect，它可以获取物体表面的三维数据，使用起来比较方便，在三维重构、手势识别、人体骨骼识别等领域得到研究者的青睐，Kinect相机能够获取视野内所有物体表面的点云信息，通过对这些点云信息的处理，可以对目标物体进行识别与分类。除了Kinect之外，华硕的Xtion以及英特尔的Realsense SR300也有同样的功能，也被人们广泛应用于科学研究领域。
   通过上述可以得知，目标物体的三维信息获取与处理是机器人智能化发展中必不可少的一项技术。本文对机器人待抓取的目标物体的识别与姿态估计进行研究，利用Kinect相机搭建视觉系统，获取整个视野中的点云数据，并利用相关算法完成目标物体的别与分割，并对目标物体自身位姿进行估计，这对机器人智能化发展有着重要的意义。
   本课题国内外研究概况（并在表格最后附上文献综述）
   本文通过对目标物体表面三维点云信息的获取，以及算法分析来进行位姿估计，并通过实验进行验证。主要研究内容包括：目标物体的检测识别和机器人分拣实验两大部分。本文将从这两个主要内容进行国内外研究现状的概述。

1.1机器人分拣研究现状

机器人在箱体中抓取散乱堆放的物体在学术上被称为RBP CRandomBing-picking)系统，如图1-1所示。典型的RBP系统主要分为三个部分：视觉检测识别、计算机控制单元和机器人本体。视觉检测部分主要是负责目标物体的信息采集与算法处理，得到目标物体的位姿信息；计算机控制单元负责控制机器人运动，根据算法处理得到目标物体的位姿信息，利用机器人末端执行器对目标物体进行分拣。目前，国内外各大企业都有自己的各种解决方案。

图1-1 Random Bing-picking系统示意图
(1)机器人分拣的国外研究现状
机器人的智能分拣技术在国外己日趋成熟，尤其是在日本、德国、瑞士和美国等国家，他们将该技术广泛地应用于工业生产线上。日本FANUC公司推出基于iRVision的视觉系统，如图1-2所示，该系统能运用在2维和3维视觉环境上，它可以利用高清相机来确定事先没有定位的零部件的确切位置，检测到目标物体原来位置与现在位置的关系，并且在工业机器人出现问题时，可以快速的复位。在机器人收到相机发送的信号后，利用安装在机械臂末端的特定的专用执行器对目标物体进行可靠的抓取与摆放。该系统有较好的柔性及可靠性，组成简单且方便日后维护。

图1-2日本FANUC公司的iRVision系统
较著名的系统还有德国ISRA VISION公司的Shape Scan 3D(形状扫描系统)系统以及该公司在2017CIROS展会展示的最新的机器人视觉产品家族IntelliPICK 3D系统。由于ISRA VISION公司采用了独一无二的用户界面的设计，传感器系统的识别操作完全不需要操作者的经验和专业知识，且由于集成的多种监测手段，因此可以快速得出最佳参数。 Shape Scan 3D采用相移条纹投影、高密度点云生成和网格划分，可以获得目标物边缘等几何特点。IntelliPICK是在市场广泛接受的机器人视觉产品Shape Scan 3D之后开发的新一代视觉传感器产品，它提供了新的功能，可以在多种堆放的零件之中识别并抓取任何异形部件，并从箱体中排除非目标物体，节约了宝贵的生产时间。
另外，瑞士ABB公司推出的YuMi系列的双臂及单臂协作机器人，与传统的单臂工业机器人相比，它们可以在略微窄小的工作区域内如同人一样去完成零部件的分拣及装配工作。当YuMi的机械臂接收到突如其来的接触时，可以及时地的停下，然后恢复之前的工作，例如，它与工人或附近的操作台发生碰撞时，可以在几毫秒内停止运动，并且很容易再次恢复运动，这将满足3C行业在生产制造过程中对生产的柔性以及灵活性的要求，同时也推动人机协作走向更多的领域。
(2)机器人分拣的国内研究现状
近几年，我国工业机器人发展迅速，并步入迅速增长期，我国正从机器人应用大国转变为创新大国。随着科技的不断更新，国内也有一些公司致力于智能分拣系统的研究：2016年8月，爱尔森智能科技有限公司开始自主研发机器人3D定位系统，定位解决方案包含全流程，客户无需进行二次开发即可直接使用。该系统的原理是对机器人的坐标和3D传感器进行坐标关联、统一标定，然后通过激光对目标工件进行快速扫描，得到工件表面的三维点云数据，并进行模板匹配，计算出工件最适合机器人抓取的三维外形数据，发送坐标给机器人来完成抓取。
王玉等人研究并实现了一种工业机器人的视觉定位方法，机器人视觉引导系统借助三维图像处理技术，来定位容器里的零件，软件通过对CAD模型和三维图像的比较，检查给出零件的夹紧位置，使分拣末端抓手有足够的空间抓取零件。
武汉库柏特科技有限公司研发了3D视觉分拣系统，在2017年3月2日以“成就创新，引领卓越(Realizing innovation)”为主题的Siemens PLM Software大中华区用户大会上，得到了许多企业的认可。如图1-6所示，该系统由深度相机获得待分拣物体的RGB-D数据，然后根据图像处理算法，得到深度相机下物体的位置信息，再根据之前系统标定好的相机与机器人的位置关系，最后能得到目标物体在机器人坐标系下的位姿信息。如果场景中有多种复杂的物体，或者物体的形状发生改变时，该系统会引导机器人进行自我深度学习，使该系统能够适合满足多种情况下的分拣问题。该公司还有应用于食品、3C、教育等行业的整套解决方案。
除此之外，很多企业都在对工业机器人的应用进行研究，各种人机协作机器人的出现，也为中小型企业带来了方便，他们用协作机器人与人类合作，从而代替昂贵的整套自动化解决方案，使企业的劳动力水平得到提高，提高竞争力。

1.2目标物体检测技术研究现状

在机器人智能分拣过程中，目标物体的识别与位姿的求取是最关键的技术，目标物体的检测就包括物体识别与位姿的求取。3D点云数据可以得到比二维图像更多一维的几何信息，所以对目标物体的点云数据的处理和姿态的求解是本文的主要研究内容。目标物体的识别可以是从二维灰度图、彩色图像中识别出目标物体，也可以是从三维点云信息中识别出目标物体，所以目标物体的识别与位姿估计也可以分别从二维图像中及3D点云数据中进行。
卢冠男使用Hough圆变换及Hough一链码对场景中目标物体的几何外形进行识别，然后对识别出来的目标物体的质心进行定位，最后利用物体质心的位置进行抓取实验。Martinez等人提出OPSESEQ视觉感知系统，该系统能够在复杂混乱的背景中对目标物体进行识别与姿态求取，利用目标自身的特征进行3D学习模型的建立，并保存到数据库，可以对多个物体的位姿进行实时求取。耿立明等人在视觉反馈的基础上用模糊预测控制策略来对机器人搭建整个分拣系统，用模型预测来对目标物体的未来状态进行预测。
DI’OSt等人设计了一种基于方向点对的特征对目标物体3D点云数据进行全局特征描述，再结合点云数据的局部特征以及霍夫变换的投票原理，实现目标的识别。陶海跻等人提出了一种点云自动配准的方法，该方法结合了刚性距离约束条件及随机抽样一致性算法对点云进行配准，得到了较好的效果。余亚玲采用基于NCC匹配和KNN点云聚类相结合的方法，先把RGB-D数据中的RGB彩图使用NCC模板匹配算法进行中心点进行定位标记，再利用标记的定位点对目标物体进行KNN点云聚类分割，对目标物体进行识别。周伟峰等人使用SVM与组合矩的方法，对目标工件的特征进行分类，降低特征的维数，完成目标物体的识别。朱亚红先将目标物体的图像进行预处理与目标提取，然后依据图像的矩特征对神经网络进行训练分类，最后引入基于HALCON软件来进行实验。周逸徉先用3D扫描仪对常见桌面级物体进行扫描建模，然后再结合深度与颜色信息获取目标物体的候选区域，最后将模板与点云数据进行匹配，得到位姿信息。江漩用卷积神经网络对目标物体进行分类，得到抓取模型，实现目标物体的抓取。

本课题研究内容、研究方法及研究思路

1、研究内容

本文主要研究内容分为以下几点：
(1)实验平台的硬件选型及机器人视觉系统的标定
本文选用微软的Kine成都t相机来获取视野内场景的三维点云信息，得到的点云信息是三维坐标中的一组向量的集合，这些向量一般用x，y，z坐标来表示，是以点来记录的，它主要表征的是目标物体表面许多点的集合；之后，对机器人本体、Kinect相机、机器人末端执行器的结构和参数进行了介绍；最终，对Kinect与机器人组成的视觉系统进行搭建与分析，完成了相机自身的标定以及相机与机器人视觉系统的标定，得到了相机的内外参数，及相机与机器人坐标系之间的关系。
(2)点云数据的特征提取
首先，提取出堆放目标物体的实验平台并去除，再用聚类分割的方法将多个目标物体局部分割开，提取所需要的单个目标，接着选用基于全局特征的描述方法对目标物体进行分类，并选取关键点，用基于局部特征描述的方法对目标物体进行描述。
(3)目标物体匹配与位姿估计
选取合适的特征，将模版与场景物体进行匹配，便可得到目标物体的位姿。具体步骤是先对点云场景中目标物体及模板的每个关键点计算了局部描述子之后，再对它们进行匹配，找到模版点云的描述子与场景点云描述子之间的对应关系，利用假设检验取一个最优的结果。
(4)实验验证
经配准后，可得到模板与场景中目标物体的旋转矩阵及平移矢量，结合机械臂与相机标定的结果，实现坐标系的统一，就可以得到在机器人坐标系下待抓取物体的位置。最终，搭建机器人分拣系统，验证方法的可行性。

2、研究方法

本文主要是对一堆随意堆放的目标物体进行识别与位姿估计研究，先利用Kinect相机搭建机器人视觉系统，并对整个系统进行标定，从而获取整个视野中的点云数据；再对本文的目标物体进行分割、关键点提取、特征提取等3D视觉处理算法进行处理，最终把获得的结果进行实验验证。本文所做的工作是基于点云库PCL的，PCL库是运用c++语言实现的，其中包含许多点云相关数据结构与算法，它可以在windows，Linux、等多种系统平台上运行。

3、研究思路

本文研究思路如下：
第一，简要概述机器人无序分拣的研究背景及意义，介绍机器人分拣技术和目标物体的识别的国内外研究现状。并指出本论文的主要内容以及章节安排。
第二，机器人无序分拣系统平台设计方案。先对本文的分拣系统总体方案进行设计，明确了系统各部分的安排；然后，对该系统硬件部分的选型做阐述，选用ABB 1200机器人及德国的雄克手爪。介绍了1200机器人的运动范围及各轴参数等基本信息，并对手爪部分的结构及参数进行阐述。最后，对实验中用到的RobotStudio软件和点云库PCL的功能进行讲解。
第三，机器人视觉系统标定。对机器人视觉系统及其分类进行介绍，并阐述视觉系统在整个分拣实验中的重要性。标定内容主要分为Kinect相机自身的标定和它与机器人之间的手眼标定这两部分，在Kinect相机标定中，对相机的成像模型进行介绍，对现实生活中的三维物体到图像中的转换所涉及到的四个坐标系进行分析，推导了相机参数及畸变的计算，并完成标定实验，相机标定平均误差是0.13个像素；在手眼系统标定中，对手眼标定原理进行推导，并通过手眼标定实验得到相机与机器人位置关系。
第四，目标物体的点云数据处理及识别。本文选用RANSAC算法拟合出目标物体所在的实验平台的平面模型并进行去除，并用同样的方法处理获取的仅包含单个目标的场景，将单个目标的背景进行去除，作为匹配时的模板来使用。然后，用聚类分割算法将含有多个待抓取目标物体逐一分割开，考虑到本文抓取物体为正方体的情况，需要按照采集到的正方体包含面的个数进行分类，选用全局特征OUR-CVFH来分类；接着，用ISS3D算法对模板及目标的点云进行关键点提取。最后，对一些常见的点云数据的局部特征描述子进行介绍与分析，选用鲁棒性较好的SHOT特征对模板及待抓取目标的点云进行描述。对模板及目标物体点云数据的每个关键点计算了局部描述子之后，对它们进行匹配，这一步的匹配为初步匹配，对可能产生多种匹配的情况应选取一个最优的匹配结果来进行下一步的微调，本文使用假设检验来取最优的匹配结果。然后，使用ICP算法来进行精配准，得到模板与场景中目标物体的旋转矩阵及平移矢量，结合相机与机器人的手眼标定结果，便可得到目标物体的位姿信息。
第五，机器人无序分拣实验与结果分析。本章节结合匹配算法所得到的结果及手眼标定的结果进行实验验证，在完成实验硬件平台的搭建后，对设备进行调试，最终完成目标物体的分拣实验，并对分拣实验结果的误差来源进行分析。
第六，总结与展望。对本文所做的研究工作进行总结与分析，对未来所研究方向及方案提出改进。

本课题特色与创新之处：

本课题的创新之处在于：
（1）机器人的编程方法与传统的示教及离线编程的方法不同，本文方法需要事先用相机对待分拣物体进行视觉检测来获取目标物体的位姿信息，所以要先根据环境以及待分拣物体的具体信息对分拣系统的硬件进行选型，对整个系统的流程及方案进行设计，设计的系统应满足厘米级的抓取要求。
（2）Kinect相机与机器人的连接为眼在手外的安装方式，使用MATLAB对Kinect相机自身进行标定，得到每幅标定图像的误差、总体的平均误差以及相机自身的参数；之后，再对机器人与相机构成的Eye-to-hand系统进行手眼标定，得到相机坐标系与机器人基坐标系的位置关系。
预计存在的主要问题、困难及解决办法：
主要问题：随意堆放的多个目标物体的位姿估计问题。
解决方法：将相机采集到的点云信息进行预处理，采用RANSAC算法对多个目标物体的载物平面进行拟合并去除，并用同样的方法提取模板；然后，用聚类分割算法对多个目标物体进行分割，使用OUR-CVFH特征根据目标物体所呈现的多种不同视角对其进行分类；接着，使用SHOT特征将模板与目标物体进行初步匹配，再使用ICP算法来进行进一步的点云配准；最终，结合手眼标定结果，便可对目标物体进行位姿估计。

参考文献：

[1]蔡自兴，郭播.中国工业机器人发展的若干问题[J].机器人技术与应用，2013 (3)： 9-12.
[2]王国庆.智能机器人视觉和力觉系统在工业中的应用[J].安徽电子信息职业技术学院学报，2017(5)：27-32.
[3]王帅，徐方，陈亮，等.视觉技术在机器人零部件装配中的应用研究[J].组合机床与自动化加工技术，2015(8)：107-110.
[4]方雨馨.基于图像处理的人脸识别算法实现[J].电脑知识与技术，2018，14(27)：176-177.
[5]栗科峰，卢金燕，黄明明，黄全振.基于子图分割与多类支持向量机的人脸识别方法[J].科技通报，2018，34(08)：159-163.
[6]王鸿娟.边缘检测在医学图像处理中的应用研究[J].自动化与仪器仪表，2017(OS)：140-141.
[7]Creusot C，Pears N，Austin J .A Machine-Learning Approach to Keypoint Detection and Landmarking on 3D Meshes[J]. International Journal of Computer Vision，2013，102(1-3)：146-179.李刚，杨笑丛.3D视觉技术在机器人抓取作业中的应用[J].自动化博览，2018，35(11)：82-87.
[8]Smisek J，Jancosek M，Pajdla T. 3D with Kinect[C]//IEEE International Conference on Computer Vision Workshops. 2011.
[9]郑传远.基于Kinect深度传感器的三维重建技术研究[D].陕西师范大学，2016.
[10]王攀，官巍.基于Kinect手势识别的应用研究[J].计算机与数字工程，2018，46(08)：1659-1663.
[11]孙光民，李俊，张俊杰，闰正祥，马北川.基于Kinect的上肢康复网络系统的设计与实现[J].计算机测量与控制，2018，26[11]：190-194.
[12] Object Detection and Pose Estimation of Randomly Organized Objects for a Robotic Bin-picking System[D]. Sweden： Blekinge Institute of Technology，2012： 12一13.
[13] Oh J K，Baek K K，Kim D，et al. Development of structured light based bin picking system using primitive models[C]//IEEE International Symposium on Assembly&Manufacturing.2010：46-52.
[14]佐立营.面向机器人抓取的散乱零件自动识别与定位技术研究[D].哈尔滨工业大学，2015.
[15] Connolly C. A new integrated robot vision system from FANUC Robotics[M]//Information technology law/.Routledge，2007：103一106.
[16]张旭.发那科机器人iRvision视觉系统在涂装生产线上的应用[J].现代涂料与涂装，2019(01)：68-70.
[17] Rasolzadeh B，orkman M，Huebner K，et al. An Active Vision System for Detecting，Fixating and Manipulating Objects in the Real World.[J]. International Journal of Robotics Research，2011，29(2-3)：133一154.
[18] IIANews原创.ISRA VISION高端工业机器人视觉技术的推动者[0L].
[19]王宁.国产工业机器人的今天与明天[J].中国设备工程，2018(15)：8-10.
[20]王玉，马为清，杜慧蝉等.工业分拣机器人3D视觉定位系统应用[J].现代制造，2017，(31)：56-57.
[21]武汉库柏特科技有限公司.库柏特以3D视觉分拣系统引爆西门子用户大会现场[0L] .
[22]石广升.基于Kinect的物体三维模型构建和姿态估计方法研究[D ].哈尔滨工业大学，2015.
[23]卢冠男.基于机器视觉的工业机器人抓取系统的研究[D].合肥工业大学，2017.
[24] Martinez M，Collet A，Srinivasa S S. MOPED： A scalable and low latency object recognition and pose estimation system[C]//IEEE International Conference on Robotics and Automation.IEEE，2010：2043-2049.
[25]耿立明，王迪，杨威.机器视觉在工业机器人智能分拣识别中的研究[J].电子制作，2018(20)：32-33.
[26] Drost B，Ulrich M，Navab N，et al. Model globally，match locally： Efficient and robust 3D object recognition[C]//Computer Vision and Pattern Recognition. IEEE，2010：998一1005.本文转载自
[27]陶海跻，达飞鹏一种基于法向量的点云自动配准方法[J].中国激光，2013(8)：179-184.
[28]余亚玲.机器人作业目标位姿信息检测方法研究[D].西南科技大学，2016.
[29]周伟峰，江娟娟，林园胜，et al. SVM与组合矩在工件识别中的应用研究[J].重庆工商大学学报(自然科学版)，2015，32(4)：78-84.
[30]朱亚红.基于机器视觉的工业机器人分拣系统[J].智慧工厂，2018(12)：73-74.