文献学习-20-基于学习的视觉应变融合，用于手眼连续体机器人姿态估计与控制

Learning-Based Visual-Strain Fusion for Eye-in-Hand Continuum Robot Pose Estimation and Control

Authors: Xiaomei Wang, Member, IEEE, Jing Dai, Student Member, IEEE, Hon-Sing Tong, Kui Wang, Ge Fang, Xiaochen Xie, Member, IEEE, Yun-Hui Liu, Fellow, IEEE, Kwok Wai Samuel Au, and Ka-Wai Kwok, Senior Member, IEEE

Keywords: Camera pose estimation, fiber Bragg grating (FBG), hybrid control, online learning, visual-strain fusion.

Source: IEEE TRANSACTIONS ON ROBOTICS, VOL. 39, NO. 3, JUNE 2023

Abstract:

图像处理极大地扩展了手持相机的实用价值，实现并促进了其定量测量的应用。然而，完全基于视觉的姿态估计方法有时在处理特征缺陷的案例时会遇到困难。本文将视觉信息与从刻有光纤布拉格光栅 （FBG） 的单芯光纤收集的稀疏应变数据融合在一起，以促进连续体机器人姿态估计。该文提出了一种改进的极限学习机算法，具有选择性训练数据更新功能，在线建立和完善了FBG赋能（Femp）姿态估计器。F-emp 位姿估计的集成可以通过减少在移动视觉障碍物和不同照明下丢失视觉跟踪的次数来提高传感鲁棒性。特别是，这种集成解决了在被跟踪特征完全遮挡或完全黑暗的情况下的姿态估计失败。利用融合姿态反馈，提出了一种结合了运动学和数据驱动算法的混合控制器，以实现高精度的快速收敛。在线学习误差补偿器可以提高目标跟踪性能，基于恒定曲率模型的控制使得误差减少 52.3%–90.1%，无需精细的模型参数调整和事先的数据采集。

所提出的集成视觉应变融合传感模式和混合控制器的框架可以扩展到其他机器人设计，包括多段原型，尽管在本文中仅在单段连续体机器人上对其进行了验证。单芯光纤光栅光纤的应用不受线段数量的限制，只要相邻线段通过一个光滑的连续接头连接，就可以包裹光纤。但是，对于混合控制器，应根据所使用的特定机械手更改或修改运动学模型。

值得注意的是，基于学习的FBG模型结合了稀疏的FBG来预测机器人的姿态，这已被证明能够适应常见的局部接触。使用OFDR技术的进一步先进的多芯光纤甚至可以消除对类似姿态/配置估计的局部/全局相互作用效应，例如脉冲或连续相互作用引起的变形。例如，支气管镜检查（例如，离子腔内系统，Intuitive Surgical， Inc.）和导管平台。FBG传感在脉动液体流动或与周围环境的突然接触中仍然具有鲁棒性。鉴于FBG在软机器人中的使用越来越多，可以预见使用相机图像和FBG应变数据作为闭环控制反馈的共生和实用价值。

本文通过集成单芯光纤光栅光纤和单目摄像头的传感融合来实现软体机器人的精确手眼姿态估计。融合结果可进一步用作位置控制的反馈。主要贡献总结如下：

1）基于在线学习的姿态估计，利用单芯光纤光纤的稀疏应变测量和单摄像头SLAM的传感融合;

2）结合基于模型和数据驱动的混合控制方法，使用软体机器人进行精确的位置跟踪，无需精确的参数调整和事先的数据收集;

3）在较差的视觉条件下对所提出的传感融合模式进行了实验验证，并通过目标跟踪任务验证了鲁棒混合控制器。

图 1.机器人控制架构。实现了结合运动学模型和数据驱动训练补偿器的混合控制器，通过FBG应变测量和视觉反馈的感知融合获得位姿反馈。使用单相机 ORB-SLAM2，它作为使用 FBG 应变数据初始化和更新基于 ELM 的模型的地面实况。在视觉特征缺陷的场景中，传感融合中FBG估计的部分将赋予更大的权重。

图 2.用螺旋缠绕的单芯光纤光栅纤维包裹的软连续体机器人。（a） 基于SLAM算法在每个时间步长k处获得的相机姿态。（b） 光纤光栅波长相应地偏移，即从λ（k）到λ（k+1）。

图 3.沿弹性连续统机械手螺旋分布的应变的有限元建模。（a） 当机械手在同一平面/方向上弯曲时，振幅变化的应变。（b） 四种不同弯曲方向下的应变，以相位差为特征。

图 4.连续体机器人的结构图，其顶部装有 LED 和摄像头。（a） 定义配置参数 r、θ 和 φ，以描述基于 CC 的模型的空间弧。（b） 显示三个用于机器人驱动的气室的横截面。（c） 内窥镜摄像头向ORB-SLAM2提供实时视觉反馈，用于摄像头姿态估计。

图 5.基于相机的姿态估计结果，其中基于 SLAM 的估计与 EM 跟踪器测量（地面实况）进行比较。（a） 姿态估计误差以及平均值。（b） 电磁跟踪器记录的轨迹（红色）和ORB-SLAM2估计的轨迹（“o”）。（c） 3D拼接图像的正面和侧面视图，使用SLAM姿态估计和图像反馈进行重建。

图 6.在存在移动障碍物的情况下的传感器融合性能。（a） 1个乐高积木场景中的相机视图和相应的视觉特征示例，具有丰富的视觉特征;2 部分检测到特征的移动/静态手;3 移动手，未检测到任何特征;4 静态手，所有特征都被遮挡了几秒钟。（b） 基于SLAM和基于融合的姿态估计与电磁跟踪器测量的地面实况的偏差。分别提供了相对于总运动范围和每步运动的误差百分比。（c） 基于融合、SLAM和FBG的相机位置的轨迹。

图 7.不同照明条件下的传感器融合。（a） 摄像机视图和相应视觉特征的示例，包括 1 个普通实验室照明、2 个低水平照明和 3 个移动附加 LED 照明。（b） 基于SLAM、FBG和融合的姿态估计与EM跟踪获得的地面实况的偏差。分别提供了相对于总运动范围和每步运动的误差百分比。

图 8.（a）移动障碍物（见图6）和（b）不同照明条件（见图7）干扰的场景重建。由于障碍物或光线变化而导致的几个模糊由虚线轮廓表示。

图 9.跟踪沿五角星路径移动的目标的控制性能比较。绘制了增益因子 Kp 为 （a） 0.08 和 （b） 0.04 的跟踪轨迹和误差。“误差”表示当前目标与实际末端执行器位置之间的欧几里得距离。“偏差”计算为从末端执行器位置到所需路径上最近点的距离。基于模型的方法在前 100 秒（步骤 1-2000）进行了验证，然后使用混合对照运行了另外 100 秒。为了便于比较，绘制并叠加了两个系列的 100 秒周期数据。（c） （a）和（b）中方块的放大视图。

图 10.跟踪圆路径的控制性能比较，其中 Kp 设置为 （a） 0.1 和 （b） 0.06。子图的排列方式与图 9 相同。

表I 表示四种不同增益Kp的五角星跟踪中的跟踪误差和路径偏差

表II：四种不同增益Kp的圆跟踪的平均跟踪误差和路径偏差

图 11.沿着大象形状的路径跟踪性能。传感反馈由视觉应变姿态融合提供。对第一个周期跟踪进行了基于CC模型的控制，然后包括了基于学习的误差补偿器。（a） 绘制了两个周期的轨迹，以及 （b） 跟踪误差和 （c） 路径偏差，并标明了平均值。

图 12.使用与图 11 相同的子图含义跟踪性能。使用真实机器人数据拟合每个腔室的腔室伸长率和电机驱动之间的非线性关系。增加了第三周期性能，其中移动的障碍物在相机视图中产生了视觉干扰。

表III：缓慢推动机器人在其刚性盖上[见图13（A）]或带有螺旋缠绕纤维的软体[见图13（B）]时估计误差（MM）的平均值、最大值（最大值）和标准误差（MM）

图 13.在 （a） 刚性帽或 （b） 软体上缓慢推动机器人时的姿势估计结果。机器人使用与图 5-7 相同的顺序命令启动。一对电磁跟踪器充当了地面实况（它们的连接线在（a）中标记）。推力会引起不希望的位移 （∼15 mm）。以路径旅程中随机选择的两个时间点（标记为 1 和 2）为例。描述了施加力时的末端执行器轨迹（具有四种感应设置）。

表 IV 在乐高积木拼搭场景中快速轻弹机器人时估计误差的平均值、最大值和标准值

图 14.在猪内脏构建的腹部模拟器中跟踪性能。（a） 绘制了基于模型的（第一周期）和混合（第二周期）控制器的轨迹，其中放大区域（黄色等值线）显示了混合控制器跟踪精度的提高。用椭圆标记的路径表示（b）固定铝棒限制单侧机器人弯曲的区域。（c） 跟踪误差和路径偏差。（d） 腹部模拟器的图像拼接图。

表 V 在腹部模拟器中快速轻弹机器人时估计误差的平均值、最大值和标准值

表VI 通过不同密度的训练数据初始化模型时，快速轻弹下的估计误差比较

表七 噪声在波长偏移中的比例

本文提出了一种集成软机器人控制系统，该系统集成了基于视觉应变融合的姿态传感和在线更新的混合控制。系统中使用的所有数据驱动模型都可以在线进行，无需事先收集数据。沿单芯光纤光栅的稀疏应变测量包裹在机器人上的纤维被在线训练为姿态传感器。使用机器人末端执行器上的单目摄像头进行SLAM估计，用于FBG传感器训练。SLAM和FBG的融合结果能够提供末端执行器姿态的鲁棒反馈，并完成6D图像拼接。解决了极端视觉条件下的传感精度和连续性问题，例如移动的障碍物和变化的照明条件，即使在遇到完全屏蔽或绝对黑暗的情况下也是如此。事实证明，传感融合不受图像特征质量差导致的SLAM故障的影响。平均估计误差可以从RMSE 3.116增加到1.324 mm并稳定下来。对于控制方案，结合了基于模型的运动学和基于学习的误差补偿器的混合控制器，实现了目标跟踪任务的稳定控制。混合控制器中基于学习的补偿器将跟踪误差降低了 >80%。该控制器可以放宽对建模精度的要求，并有效地适应未建模的非线性。

在所提算法方面，可以进一步探索视觉与FBG应变感知的结合。光纤光纤可以作为位置或方向传感设备进行离线校准，并与单目摄像头集成，以构成视觉-FBG软机器人SLAM框架，类似于VINS SLAM。经过良好校准的光纤光栅可以在新的增强型视觉SLAM系统中扮演IMU的角色，从而恢复公制刻度以扩大其在软机器人应用中的使用。FBG可以解决过程中的挑战，如估计器初始化、外部校准、在线环路检测和紧密耦合的重新定位，从而为连续体机器人生成新的SLAM架构。这种可视化FBG SLAM系统在内窥镜机器人定位、导航和控制方面具有巨大的潜力。

Reference:

[1] Wang, X., Dai, J., Tong, H. S., Wang, K., Fang, G., Xie, X., ... & Kwok, K. W. (2023). Learning-based visual-strain fusion for eye-in-hand continuum robot pose estimation and control. IEEE Transactions on Robotics.