【Arduino】颜色识别的智能搬运机器人设计_靠颜色来分拣硬币

这是我大学期间的项目书，本人不太会写文章，但是还是希望能对大家有所帮助。有所问题，大家可以提出来。

---

前言

本项目研究基于3D点云深度学习的多目标抓取技术，通过深度相机提取工件的彩色2D图像信息和3D点云数据，利用点云深度学习训练工件特征网络模型以及人工智能快速获取工件类别和位姿形态，同时研究噪声对识别精度的影响，最后集成舵机机械手，完成流水线上工件的自动抓取。以智能制造的现实和未来发展为主题，自主设计并制作一台按照给定任务完成

物料搬运的智能机器人（简称：机器人）。该机器人能够通过扫描二维码方式领取搬运任务，在指定的工业场景内行走与避障，并按任务要求将物料搬运至指定地点并精准摆放（色环或条形码）。

一、项目背景、研究意义

（简要说明项目背景、研究现状、创新性、意义及实施必要性）

1、项目背景

我国工业制造发展至今经历了“工业1.0——机械制造”“工业2.0——流水线、批量生产，标准化”“工业3.0——高度自动化，无人/少人化生产”和“工业4.0——网络化生产，虚实融合”等阶段。从传统制造走向大规模个性化定制，由集中式控制向分散式增强型控制的基本模式的转变，要求建立一个高度灵活的个性化、数字化和高度一体化的产品与服务生产体系[1]。随着人民物质需求的不断提高，市场对各种产品的需求不断变大。对于企业，提高生产效率能够带来更高的收益，而在生产环节中应用协作机器人将进一步提高生产效率。

2018年以来，中美贸易冲突不断，美国加大对中国的技术封锁，给中国的工

业创新发展敲响了警钟。如今，随着“工业4.0”、“中国制造2025”等概念的指导，一轮新的科技和产业革命正在悄然进行，融合信息技术和传统工业的智能制造发展突飞猛进，以人工智能为基础的智能软硬件，智能机器人等领域已上升为国家战略。[2]国家对智能制造投入不断加大。

 图2.1.1  研究与试验经费支出

图2.1.2  2019-2020年我国智能制造业产值规模统计及预测情况

机器视觉[3]是一门多学科交叉的技术，它综合了光学、计算机、图像处理、人工智能、机电控制等领域的知识，主要用来替代人眼对工业产品进行判断，包括缺陷检测[4-5]，尺寸测量[6-7]，图像识别[8-9]等。近年人工智能和图像算法的快速发展给机器视觉带来了新的机遇，为机器视觉技术的进步提供了充分的理论支持，机器视觉技术已被广泛使用在工业、农业、医疗等行业，与人工相比，机器视觉提高了工业生产效率，拥有更高的工作速度和工作精度。

2、研究现状

2.2 研究现状

2.2.1 3D识别技术在国内外的研究现状

上世纪50年代，机器视觉这一概念被国外学者提出，经过二十多年的理论研究和发展，机器视觉技术开始繁荣。到了 90 年代，国外机器视觉发展进入了高速增长期，市场日渐成熟，一批非常优秀的视觉软件和硬件制造商逐渐发展壮大，如美国的康耐视，日本的基恩士等。近十年来，深度学习、3D 视觉、工业机器人等领域研究取得了重大突破，这些领域的成果不断丰富着机器视觉的内容。

3D图像采用的点云处理技术广泛应用在逆向工程、CAD/CAM、机器人学、激光遥感测量、机器视觉、虚拟现实、人机交互、无人驾驶等诸多领域，涉及到计算机、图形学、人工智能、模式识别、几何计算、传感器等理论技术[10]。各种三维信息采集设备（例如，三维激光扫描仪）采集得到的数据通常称之为三维点云数据，最初以非结构化三维点的坐标形式表示，即同一空间参考系下表达物体空间分布和表面特性的三维点集合。随着3D 采集技术的飞速发展，3D 传感器变得越来越便宜可用，包括各种类型的 3D 扫描仪、LiDAR和 RGB-D 相机（如，Kinect，RealSense和Apple深度相机）[11]。这些传感器获取的3D数据可以提供丰富的几何、形状和比例信息[12-13]。与2D图像相比，3D数据更好地描述了物体的几何空间特性。一般3D数据可以用不同的格式表示，包括深度图像、点云、网格和体素。

OysteinSture等人[14]提出了基于机器视觉的鲑鱼品质检测方法，通过设计 360 度三维彩色视觉采集系统，采集鲑鱼的彩色点云数据，提取其中几何特征，结合点云的彩色特征，将它们作为支持向量机的输入进行训练，实现了对畸形鲑鱼和受伤鲑鱼的识别，完成了鲑鱼的质量等级区分。

2.2.2 机器人识别分拣技术国内外研究现状

自动分拣首次出现是在二战之后的美、日等发达国家，主要用于商品的运输前的分类。分拣过程分为传送、控制、分类和分拣，它们之间靠计算机网络通信，此时分拣过程需要人和机器配合才能完成，自动化化水平较低。

随后机器视觉出现，开始逐渐替代分拣作业的人工，更高的作业效率和质量使机器视觉的研究受到重视，国内外的学者发提出和发表了许多关于视觉分拣的理论成果。

王鑫等人[15]提出了苹果等级分拣算法，首先提取苹果缺陷部位的轮廓，求得轮廓包含面积，然后计算苹果直径和颜色色度，综合上述三种特征判定苹果等级，为苹果在线分拣提供了判断依据。

图2.2.1  苹果分拣机器人的系统结果示意图

顾学民等人[16]提出竹片颜色在线分拣算法，分析竹片的 HIS 颜色模型和灰度均值，计算模型各个分量的值，判断取值所属范围，能够识别 4 种不同颜色的竹片。

张帆等人[17]提出了纺纱管线分拣方法，对采集管线图像的色偏修正，使管线颜色更加鲜明，颜色模板配时，用两者差值和模板的比值范围来判断管线颜色类型，与用模板训练 SVM 分类器进行分类相比，需要调整的参数较少，简化了计算过程。

钟小华等人[18]提出一种红枣表面无损检测的分拣算法，检测果形轮廓的凹点深度，大于阈值的则为畸形果，红枣表面的灰度共生矩阵可以对红枣纹理分级，根据颜色模型分析结果判断红枣是否开裂和腐烂。

Gamal ElMasry等人[19]设计一种了马铃薯分拣系统，提取马铃薯的图片的周长、质心、面积、转动惯量等几何特征和经过傅里叶变换的 8 个边界形状特征，将所有的特征输入到逐步线性判别分析中，结果表明圆度和面积特征，以及四个经过傅里叶变换的形状特征，有很好的区分度，能准确的将土豆分为四种不同的等级。

 图2.2.2  马铃薯分拣系统

近年来，人工神经网络理论发展迅速，新的网络结构和优化方法不断被提出，因为其精度高，适应性强，视觉分拣领域也开始重视神经网络的使用。

NimaTeimouri等人[20]提出了一种鸡肉分拣的算法，提取鸡肉图片的几何特征、颜色特征和纹理特征，分别训练最小二乘回归，线性判别分析和人工神经网络分类器，最后对比结果表明，人工神经网络在精度优于前两者，能够正确区分鸡胸、鸡腿和鸡翅。

王丽婧等人[21]设计了一种硬币分拣系统，使用电涡流传感器采集硬币频率来识别真伪，提取硬币图像胡氏几何不变矩特征，训练三层 BP神经网络，实现了硬币类型的识别。

图2.2.3 硬币识别与分拣系统结构框图

Amin Nasiri等人[22]提出了一种基于深度卷积神经网络的椰枣分类算法，算法模型采用 VGG-16，数据集为四种不同类型的椰枣图片，为了防止训练的过拟合，对原图片进行旋转、缩放等操作新生成了多幅训练图片，采用迁移学习中的微调来加快训练的收敛速度，最后实验结果的混淆矩阵表明，精度能够达到分拣要求。

李鹏飞等人[23]设计了一种基于径向基神经网络的织物分拣系统，对织物图片训练集预处理，将颜色空间从 RGB 转换到 OHTA，减少颜色值之间的相关性，归一化之后作为网络的输入进行训练，用训练好的网络对纯色织物在线识别分类。

 图2.2.4  织物分拣系统的硬件平台

通过对国内外分拣技术的研究，可以看到，在传统的分拣系统中，不同种类的物体图像之间的差异可以用一个或多个组合特征加以区分，这种差异能够用确定的数字来度量，区分度较高，但依赖稳定的图像采集环境，否则将导致特征计算产生较大的偏差，识别结果出错。在基于神经网络的分拣系统中，训练网络需要大量的样本图片，样本图片的采集是一个非常费时费力的过程，特征的选择和网络训练需要进行多次对比调整试验才能获到较好的效果，并且网络的判别的精度受到很多不确定因素的影响。

3.意义及实施必要性

随着生产速度不断提升，传送带上工件运动速度加快，对视觉识别的稳定性和快速性提出了更高的要求。同时，车间工作环境较为恶劣，干扰严重，传统的图像识别精度容易受各种噪声影响而劣化，并且对于较大较复杂物体，某些区域远离焦平面，特征也会模糊，因此，研究一套高精度、高速度的3D视觉识别装置具有实际应用价值。3D识别相较于传统的图像识别，信息维度增加，可有效提高识别准确性。故而研究一套搭载3D识别算法的机械手对于流水线生产具有重要意义。同时在做该项目的同时让我们大学生有很好的学习及锻炼机会，认识到更多的智能识别操作，为今后的发展铺下一条“智能”之路。

 图2.3.1  散件抓取系统

二、项目研究方案

（包括项目的主要内容、计划目标、技术路线、组织实施、进度安排等，可另附页）

一.主要内容：

1.路径寻迹

这是一个比较简单解决的技术，在我们大一的下学期已经有了很多的基础去解决寻迹只需用pid算法就可以完美控制小车快速运行；并在需要的条件下，学习使用更加完整的算法。

2.机械臂的抓取

机械臂的抓取我们主要使用arduino进行控制由距离测算与识别区域来控制四轴机械臂的抓取，通过比较稳定的方式抓取物品，在小车的运行过程中时刻保持足够力的抓取。

3.基于openCV+python的颜色识别

颜色的识别需要用python作为语言基础树莓派和openCV作为图像采取与处理，分解图像并判断颜色的区别；将摄像头获得的图像帧，通过OpenCV库中函数转化为HSV数据，进一步通过高斯滤波、开运算去噪等方式获得有色物体高对比图像。根据实际调试获得预设图像并且对比，符合情况下基本确定为进行操作的指定位置。

4.距离的测算

距离的测算可以用超声波模块判断物品xyz距离，再传输给arduino控制4轴机械臂抓取；通过多次反馈数据，以调整抓取物品的正确位置，并将物品抓取到距离小车的指定位置。

二.技术路线

三.组织实施

（1）驱动装置的搭建

 

通过Fritzing构建出基本电路模型控制四轴机械臂并且进行电路分析，先将简单的电机模型和舵机模型建立完整。

(2)实物的模拟

 

我们正在进行实物的控制与代码的编写，先进行单个模块的控制再进行组合起来最后进行调试。

(3)模型的建立

主要模型的建立以抓取机械臂为主，车底座次之。联合起来形成抓取小车的基本机构我们已经大致构建好了。

（4）麦克纳姆轮

 

 麦克纳姆轮是一种可全方位移动的全向轮，简称麦轮，由轮毂和围绕轮毂的辊子组成，麦轮辊子轴线和轮毂轴线夹角成45°。 在轮毂的轮缘上斜向分布着许多小轮子，即辊子，故轮子可以横向滑移。 辊子是一种没有动力的小滚子，小滚子的母线很特殊，当轮子绕着固定的轮心轴转动时，各个小滚子的包络线为圆柱面，所以该轮能够连续地向前滚动。

(5)物品的组装

 

 物品的大体都是由碳纤维板组成也有一部分是由亚克力板切割出来组装而成，主要包括机械臂部分，车形部分，与循迹安装部分。

总结

1.为前期工作及将要面对的困难有初步了解，并做好应对的准备。同时对组员做出具体分工，安排进度。

2.收集模型资料，绘制模型、制作模型件并加工组装，创建初步的模型体，分析并优化模型体，进行代码与功能的初步迁移与实现。最终建立一个较为合适的模型。 

3.小车的循迹以及小车的调试和稳定，并将各功能加入并实现，机械臂的抓取及抓取稳定的调试和小车行进的各种配合处理。并做好相关资料的统计，以备后期使用。

4.整体测试分析与优化：对于前面的工作做出总结，并优化出一套完美的方案，并准备最终结果的展示以及比赛。

-----------------------------------------欢迎大家阅读，希望能对你有所帮助--------------------------------------------------------------------本人大学时期的项目立项书发出来，希望能帮助到你----------------------------------------------------------------------后续有有时间再把文章细节方面进行修改---------------------------------------------------------------------------------------------ppt代码后续再发出来--------------------------------------------