赞
踩
以下内容根据深圳大学2023暑期实训营学员测评报告整理
外观上ROSpider六足仿生机器人如同名字一样有六只机械腿,整体来看像一只六腿的蜘蛛。腿上的关节处用了明亮的橙黄色很是显眼,这些关节是支持它完成各种动作的关键。在“蜘蛛”身体的上方装有Astra Pro深度相机,是ROSpider机器人的眼睛,它可以进行水平方向的旋转以及上下角度的变换,让ROSpider有了很大范围的视野。相机的后面是两支天线,两支可以灵活摆动的天线像耳朵一样可以帮助机器人接受各种信号。机器人整体感觉十分灵动,富有科技感的同时又有些可爱,很期待它后续的表现。
ROSpider六足机器人外观实拍图
根据ROSpider六足机器人配套的开发手册的指导,我们进行了ROS系统的安装和环境的搭建,手册关于这一部分的引导并不是很详尽,有一些问题还需要自己在网络上查找解决。后续的对于各项功能和系统包括小车结构的介绍很仔细,各项实验操作引导也十分清晰明了。根据手册的内容,测试内容分为:仿生运动、基础AI视觉、3D视觉应用、深度学习、SLAM建图与导航和远场麦克风阵列等板块,接下来我们将根据个个板块展开测试。
ROSpider六足机器人实验手册
**仿生运动
在完成客户端与机器人通过机器人自带热点连接后,通过虚拟机对机器人发出简单的指令,确保它能做出相应的动作后,我们开始了对其仿生运动的测试。
在输入了相关指令后,机器人很好的完成了三角步态和波纹步态形式下各个方向的移动,还可以通过指令调节步幅和行进速度等;其机体的扭动也完成的很好。可见关节的灵活性非常的好,六足合作很协调,仿生的动作完成度很高,可以适应较为复杂的地形环境。
基础AI视觉及3D视觉应用
在机器人视觉部分,我们首先对该机器人的线条和色块的识别和追踪功能进行了测试,并用OpenCV视觉实现KCF算法。得益于深度摄像头的高精度取景测量,机器人在该项性能上对待识别物的识别率高。在巡线任务、自动化生产线、质量检测、物料搬运等场景能有所发挥。其后我们测试了深度相机对环境点云图的配置。最终得到的点云图具有丰富的几何形状和尺度信息,易受光照强度变化影响,多数情况下能够稳定得到周围环境的3D点云信息。在三维建模设计、自动驾驶、医学成像等方面具有较多的应用前景。
实拍- KCF目标跟随效果展示
录屏- KCF目标跟随效果展示
深度学习
另外这台六足机器人搭载了先进的深度学习技术,使其具备了强大的人脸识别和手势识别能力。通过MediaPipe软件,它可以快速、准确地识别出人脸和手势,从而实现更加智能化的交互体验。此外,这台机器人还可以通过ROS系统进行任务规划和控制,使得它可以灵活地适应不同的环境和任务需求。
实拍 - 骨架跟随
实拍 - 姿态控制
人脸识别
在人脸识别过程中,系统会回传一幅包含目标人脸和一些脸部关键点的画面。这些关键点并不算太多,但是可以清晰地辨别出人脸,而且灵敏度和识别准确度都非常高。这意味着,即使是在复杂的环境下,这台六足机器人也可以快速、准确地识别出人脸,从而提高其交互能力和智能化水平。
人脸识别动画
手势识别
手势识别是用不同的手势作为命令,使机器人做出不同的仿生动作。“手枪”手势识别对应动作为“攻击”;“比心”手势识别对应动作为“扭动身体”;“拳头”手势识别对应动作为“向前扑”。手势的识别需要一定的响应时间,识别的准确度较高,偶尔识别偏差之后会自己纠正。
实拍 - 手势识别
录屏- 手势识别
在SLAM建图与导航课程性能的实验测试中机器人能够准确地感知外界环境,实现SLAM建图、导航和路径规划并保存地图。
实验引导中介绍说是通过深度相机视觉与激光雷达进行融合建图与路径导航。在该性能的体验上,机器人第一次运行时出现扫描得到的二维/三维图出现一定的形变,后面降低了行进的速度之后,再进行扫描得到了较为精确的图像。
因此建议在运行这一功能时,应该适当降低行进速度以保证建图精确度。且机器人利用深度相机数据加强了对异形物体的识别率,在避障测试中得到理想的结果。
使用深度相机进行室内建图
ROSpider六足机器人以奥比中光3D深度相机Astra Plus作为“智慧之眼”,同时搭载Jetson Nano主控制器、激光雷达、IMU传感器等高性能硬件配置,可实现建图导航、路径规划、跟随避障、语音识别等功能,以及物品识别、体感控制、目标追踪、口罩识别等AI视觉应用。功能丰富,性能良好,可以满足多方需求,适用于高校、高职领域的教学实验、科学研究和创新实践等领域。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。