机器人抓取检测技术的研究现状_刘亚欣, 王斯瑶, 姚玉峰, 杨熹, 钟鸣. 机器人抓取检测技术的研究现状

从抓取规划角度来看，抓取位姿检测可以分为基于模型的方法（Model-Based Methods）和基于传感器反馈的方法Sensor Feedback-Based Methods）。

基于模型的方法依赖于预先构建的物体模型或场景模型，并在规划阶段使用模型进行位姿检测和规划。一些常见的基于模型的方法包括基于物体表面特征的抓取规划、基于物体几何约束的抓取规划等。该方法的优势在于可以在离线阶段进行计算，并且可以预测不同抓取位姿的成功概率，但是可移植率低，不能应用于未知的无模型物体。

基于传感器的方法依赖于传感器获得的实时反馈信息，例如视觉、力觉或触觉传感器的数据，利用视觉估计、力控抓取、接触感知来进行抓取位姿检测和调整。由于该方法可以根据当前环境的变化来实时地调整抓取位姿，所以这种基于传感器反馈的方法具有更强的实时性和适应性。

基于传感器反馈的方法：

1. 视觉估计（Visual Grasp Estimation）：
   • 方法：通过摄像头或深度传感器捕获物体图像或点云数据，然后使用计算机视觉技术（例如卷积神经网络）来估计抓取位姿。
   • 经典方法：GQ-CNN、PointNetGPD
   • 作者：Mahler等
2. 力控抓取（Force Control Grasping）：
   • 方法：使用力觉传感器或力-力矩传感器来感知物体与机器人手爪之间的接触力，基于力信息进行抓取位姿规划和控制。
   • 经典方法：基于PID控制、力闭环控制的方法
   • 作者：无特定作者，领域内有多位研究者在力控抓取领域进行了研究。
3. 触觉传感抓取（Tactile Sensing Grasping）：
   • 方法：使用触觉传感器来获取物体表面的触觉信息，如形状、硬度等，结合力信息进行抓取位姿检测和调整。
   • 经典方法：基于触觉数据融合的方法
   • 作者：R. Detry等

基于模型的方法：

1. 物体几何模型：
   • 方法：通过先验知识或离线建模，获得物体的几何模型，如点云模型、CAD模型等，然后在规划阶段对模型进行分析和规划。
   • 经典方法：随机抓取、基于凸包的方法
   • 作者：J. Bohg等
2. 物体形状特征：
   • 方法：使用物体的形状特征，如表面法线、曲率等，来进行抓取位姿规划。可以基于特征的匹配和分析来估计合适的抓取位姿。
   • 经典方法：基于表面法线的抓取规划
   • 作者：S. Levine等
3. 物体运动模型：
   • 方法：使用物体的运动模型，预测物体在抓取过程中的运动和姿态变化，从而规划合适的抓取位姿。
   • 经典方法：基于物体动力学的抓取规划
   • 作者：无特定作者，领域内有多位研究者在物体运动模型方面进行了研究。

基于点云的机器人抓取识别综述 - 3D视觉工坊 - 博客园 (cnblogs.com)

机器人抓取检测技术的研究现状 刘亚欣_CV-杨帆的博客-CSDN博客

1.分析法

图 1 为分析法在进行抓取检测时所采用的 一般策略[3]

[3]Sahbani A, El-Khoury S, Bidaud P. An overview of 3D object grasp synthesis algorithms[J]. Robotics and Autonomous Systems, 2012, 60(3): 326-336.

首先,基于环境限制和机械手与物体模 型进行抓取检测,抓取检测是指找到满足与抓取任 务相关的一组候选抓取位姿的过程;然后,基于一定的选择标准和任务导向对场景输出的一组抓取位姿 进行选择,输出最佳抓取位姿;最后,传递给机器人执 行抓取. 实际应用时不一定包含图1中介绍的所有元 素. 图2就分析法所涉及的动力学、运动学、几何、结 构关系进行了详细的展开说明. 在阅读文献的过程 中发现,因为计算困难,当下应用的分析法多数没有 考虑到任务约束,实际情况大多是基于任务导向的; 分析法还有一个主要缺点,它要求对象参数是已知 的,因此分析法不适合在非结构环境下广泛使用.

2.经验法

已知物体抓取流程:
已知物体抓取参考：Bohg J, Morales A, Asfour T, et al. Data-driven grasp synthesis— A survey[J]. IEEE Transactions on Robotics, 2014, 30(2): 289-309.

在离线阶段,对物体模型数据库的每个物体进行处理,生成候选抓取位姿,基于一定的选择标准进行评分排序,将抓取位姿存入抓取经验数据库,与物体模型数据库进行一一对应,以便检索

在在线阶段,将场景进行分割,识别出物体,找 到物体模型数据库中的物体与之对应,然后进行物体 姿态估计,根据位姿检索找到抓取经验数据库中的抓 取位姿,最后进行抓取选择和可达性过滤,执行抓取.

基于感知方法对未知物体抓取检测的流程：

对于未知对象,该方 法基于启发式将感知数据中的结构与候选抓取姿态 直接链接起来,根据使用数据特征的不同将这类方法 分为两种:一是提取分割后的点云或图片数据中的 二维或三维特征,基于启发式进行抓取规划[26-29];二 是根据已经分割好的点云直接拟合或估计基本几何 形状,进而根据该几何形状进行抓取规划[30-31] .

基于学习方法进行抓取的分类：

使用学习的方法检测抓取可分为两大类,如图6 所示:一是基于抓取检测的抓取方法(需要一个单独 抓取规划控制系统),通过抓取检测方法生成抓取位 姿,再使用单独的规划控制系统基于轨迹规划生成轨 迹,实现完整的抓取;二是基于视觉运动控制策略的 端到端抓取方法,实现从图像直接到抓取动作的映 射. 其中,第1类按照学习内容的不同又包含两种方法,一种是学习抓取表示的结构化输出,例如抓取框 等;另一种是学习抓取鲁棒性评估[2] . 表1列出了基 于学习的抓取检测方法的分类以及相关文献的检测 准确率、速度等结果,并展示了文献所采用的数据集 和算法,下文将紧紧围绕表1进行详细说明.