文献学习-8-连续体机器人在微创手术中的形状感知技术：综述

5.1.8 Shape Sensing Techniques for Continuum Robots in Minimally Invasive Surgery: A Survey

Key Words: Continuum robot, electromagnetic (EM) tracking, fiber Bragg grating, intraoperative imaging modalities, shape reconstruction, shape sensing.
Authors: Chaoyang Shi, Xiongbiao Luo, Peng Qi, Tianliang Li, Shuang Song, Zoran Najdovski, Toshio Fukuda, Fellow, IEEE, and Hongliang Ren
Source: IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 64, NO. 8, AUGUST 2017

摘要：连续体机器人具有固有的结构柔顺性和高灵活性，可以在受限环境下沿着曲折的解剖路径进入手术目标部位，并通过微小切口进行复杂而精细的操作。 这些优势使其能够在最小创伤下广泛应用，并通过微型仪器和高曲线访问能力实现具有挑战性的临床程序。 然而，它们固有的可变形设计使得实现三维术中实时形状感知以准确建模其形状变得困难。 解决这个限制的方法可以进一步发展与闭环控制、路径规划、人机交互和微创手术中的手术操作安全等密切相关的技术。 尽管已经进行了大量基于模型的研究，依赖于运动学和力学，但在连续体机器人的准确形状感知方面仍然具有挑战性，特别是在未知和动态负载的情况下。 本综述调查了该领域中最新的替代性新兴技术在三维形状感知方面的进展，并重点关注以下类别：基于光纤传感器的、基于电磁跟踪的和术中成像模态的形状重建方法。 还讨论了现有技术的局限性和新技术的前景。

背景
近年来，连续体机器人在微创手术中提供了显著优势，并在技术进步和广泛的临床应用方面展示了巨大的潜力。 微创手术（MIS）中的手术程序涉及通过小切口或自然孔道沿着曲折路径在人体内进行精细操作，导致了访问和操作上的限制，以及技术上的挑战。

连续体机器人不仅通过这些小切口或孔隙提供曲线和灵活的可及性，而且还能在远端产生大力量来支持各种操作。 它们被定义为可激活的结构，其组成材料形成具有连续切线向量的曲线，包括同心管机器人、主动电缆/肌腱驱动导管和针、单骨干和多骨干连续体机器人，以及气动和液压驱动的连续体操纵器。 它们具有高度柔顺和精确的可变形结构，可以在受限空间下到达复杂形态的治疗部位和曲折路径，并能够通过小切口完成复杂而精细的手术。 这些优势有助于减少患者的失血量、最小化创伤、减少术后并发症和缩短恢复时间，改善当前的临床程序并开创新的工作流程。 因此，它们在各种微创手术中被越来越广泛地引入，包括耳鼻喉科、眼科手术、神经外科、腹部手术和血管内介入，特别是心脏手术和支架手术。

然而，要实现这些手术过程中使用的连续体机器人的精确可靠的运动控制，需要准确实时的形状感知。 由于它们固有的可变形设计和在手术过程中与解剖结构的不可避免的碰撞，准确建模它们的形状仍然是一个挑战。 基于模型的形状重建方法依赖于运动学和力学，已经用于闭环控制、路径规划和碰撞检测。

现有的模型努力在数学模型复杂性、准确性和计算开销之间取得平衡。 这些建模技术的准确性取决于模型，并依赖于识别的建模参数，这些参数可能存在不准确性并随时间变化。 这在动态场景中尤其常见，会经历动态摩擦、反向间隙和内部变形。 此外，这些模型对未知的外部负载非常敏感，可能导致大规模结构不稳定并改变其运动学。 其中大多数方法不处理扭转条件，这可能会显著降低机器人对于平面外载荷的刚度。 此外，其中一些方法无法满足实时应用的要求。

尽管迄今为止文献中报告了基于模型的运动学和力学研究，但对于连续体机器人的精确术中形状感知仍然具有挑战性。 这在未知和动态负载施加在末端执行器上的情况下尤为突出。 连续体机器人的三维实时形状估计仍然是机器人学界一个正在进行和积极研究的领域，集中努力于进一步发展闭环控制、路径规划、人机交互和手术安全等密切相关的技术。然而，一个通用解决方案仍待开发。

除了基于模型的方法，最近还提出了其他新兴和替代的形状重建技术以及末端定位技术。 基于光纤布拉格光栅（FBG）传感器的应变和曲率感知在机器人领域受到了越来越多的关注。 FBG传感技术能够提供实时力测量和形状估计，而无需基于运动学建模。 这些传感器还支持与连续体机器人的轻松集成，并且在大多数手术环境中具有高生物相容性。电磁跟踪技术已广泛应用于追踪和定位人体内的连续体机器人，由于其微小尺寸和无需视线约束。这种跟踪技术不仅可以扩展到使用多个微型电磁传感器沿连续体机器人进行尖端跟踪和形状重建，而且还可以与简化的机器人建模结合使用，以实现更高的准确性和降低计算成本。 此外，术中成像模态，如透视摄影术、内窥镜和超声，可以为手术连续体操纵器和人体解剖提供最直接的可视化或直观观察支持。 各种术中成像方法已经展示了估计或重建连续体机器人形状的巨大潜力，并因此改善了当前的临床工作流程。

形状感知技术已经在用于微创手术的广义连续体机器人中出现并得到有益的应用，包括伪连续体机器人的扩展概念，其采用离散链接或离散关节结构来紧密模拟连续体机器人。

基于FBG感知的形状重建
基于光纤光学传感器（FOS）的感知技术已广泛应用于各种医疗应用中的应变、力、扭矩、位移和组织温度测量以及压力监测。 它们的使用范围包括磁共振成像（MRI）引导的高温治疗、胸部和腹部运动记录以及呼吸和心脏活动监测。 它们具有体积小、弹性高、灵活性好的优点，并支持与连续体机器人的最小刚度影响下的易集成和微型设计。 这对其建模和控制几乎没有影响。 它们具有生物相容性、无毒性、免受电磁干扰的固有特性，以及无电连接的优点，使得FOS适用于大多数医疗应用，包括MRI的高电磁环境。 这些基于FOS的感知技术可以分为三类：基于FOS的光强调制（LIM）、基于FOS的干涉仪和基于FOS的FBG元件。

A. 光纤光栅传感器的比较
基于LIM的光纤光栅传感技术通过光学镜面反射、光纤之间的光耦合或光纤的宏弯曲配置来测量光强反射。 这些技术主要应用于测量工具与组织之间的相互作用力、扭矩和压力感知。 它们不受温度影响，不需要复杂昂贵的组件，具有成本效益。 然而，这些基于LIM的技术容易受到输入光强变化和非预期光纤弯曲损耗引起的漂移问题。 基于干涉仪的光纤光栅技术通常使用多个反射镜产生条纹，并能够测量由力、扭矩或压力引起的改变反射镜之间距离的参数。 然而，这两种技术都不能支持连续体机器人沿轴向进行直接形状估计的多点应变测量。 已经应用基于LIM的光纤光栅技术和三根直线或宏弯曲光纤的三角形配置的方法，实现了对连续体机器人短段的间接曲率或姿态测量。 这些实现提供了一种低成本的形状感知方法，并且被证明不受温度影响。

B. 基于FBG传感的形状重建
FBG传感器通常被写入到光纤的一个短段上，它能够反射出输入光的特定波长范围，并在传输其他波长范围时保持全光谱。 嵌入多个FBG传感器的光纤需要连接到一个检测器，该检测器通过每个FBG传感器检测反射光的波长。 反射波长受到FBG传感器上的机械应变和温度变化的影响，这个原理通常用于温度、力和曲率感知。当形状传感器感知到外部力时，由FBG元件组成的形状传感器会产生变形，从而导致FBG传感器反射光的中心波长发生偏移。

基于FBG传感的形状重建技术主要依赖于曲率估计，该曲率与从波长偏移计算得到的应变相关。 这些技术已经越来越多地应用于小变形的连续体机器人，例如用于活检和消融的可操纵介入针。 它们具有高刚度的固有特性，可以实现几乎完美的应变传递到附加的FBG传感器上。可以通过Frenet-Serret公式与Euler积分将曲率信息转化为形状轮廓。

表1. 基于FBG传感的形状重建技术。

还尝试对其他具有较大变形的连续体机器人进行形状估计，例如绳驱动导管和内窥镜。 大多数内窥镜和导管的刚度较低，导致对FBG传感器的应变传递效率较低。 它们的长结构和复杂的弯曲要求需要使用更多的FBG传感器来提供足够的曲率信息。

基于FBG传感的常用光纤配置包括单一光纤配置、正交配置和嵌入FBG传感器的三角形配置。 三重设计采用三角形配置，支持温度补偿，能够消除噪声和轴向应变等常见项，并允许测量扭转角度。

有两个常用术语来量化误差，包括尖端跟踪的平均误差（METE）和机器人形状的平均误差（MERS），以及针的平均偏转误差（ADTE）用于针的形状重建。 尽管准确性要求因不同的临床程序而异，但对于大多数微创手术实践而言，尖端位置误差在1-2毫米范围内被认为是足够的。 使用FBG传感进行连续体机器人的形状重建，对于微创手术程序可以实现合理的准确性。 然而，基于FBG传感的形状估计对于可操纵内窥镜和导管的形状重建仍然存在较大误差。

基于FBG的形状感知的误差分析表明，传感器数量和放置位置可以显著影响形状估计的准确性。为了解决这些问题，提出了一种根据弧长确定FBG传感器数量和放置位置的策略来进行形状估计。

同心管机器人的感知。 该方法根据传感器数量和位置定义了数值形状重建模型。 它通过最小化形状估计模型和基于力学的模型之间的形状和尖端误差来研究优化算法以确定传感器位置。 数值实验表明，使用少量FBG传感器可以实现同心管机器人形状重建的高精度。 然而，其有效性需要进一步的实验验证。

基于电磁跟踪的形状重建
主要依赖于互感作用原理的电磁跟踪系统能够定位在其跟踪工作空间内工作的电磁接收器，该空间由电磁场发生器产生。 它们已被用于连续和实时定位和跟踪连续体机器人，并已成功集成到几个商业产品中。 电磁传感器的微小尺寸和无需视线限制展示了独特的能力，可以在不改变机器人机械特性的情况下跟踪和定位人体内的连续体机器人。 因此，电磁跟踪技术已广泛应用于许多临床应用，如内窥镜、骨科和腹腔镜手术，基于针的活检和肿瘤/癌症消融手术，以及基于导管的血管内介入手术。

在最近的研究中，多个微型电磁传感器被安装在连续体机器人上，并且因此实现了远端尖端跟踪和形状重建。 为了克服从分布式电磁传感器捕获的离散姿态信息的缺点，电磁跟踪方法已经与机器人运动学模型结合起来，实现了准确的形状感知。

图1. 基于电磁跟踪的形状感知。（a）-（d）手术蛇形机器人、多节段驱动的连续体机器人和用于微创手术的连续体管状机器人的形状重建。（e）和（f）各种用于血管内介入的导管的形状估计。

表II. 基于电磁跟踪的形状感知技术

不幸的是，电磁跟踪系统也存在与其工作原理相关的限制。 它们容易因磁场扭曲而产生测量误差。尤其是在动态临床环境中，由磁性和导电物体引起的磁场扭曲会导致测量误差。 例如，由于周围的计算机断层扫描（CT）/磁共振成像（MRI）扫描仪以及手术过程中使用的电子和金属仪器，跟踪精度可能会受到影响。 这种产生的干扰会降低定位精度，损害手术结果和电磁跟踪在临床实践中的可靠性。 此外，电磁跟踪系统的工作空间有限，并且在整个跟踪体积中提供非均匀的测量精度。 它们只能在跟踪体积的中心生成最高且均匀的精度。为了解决这些问题，已经开发了一种同时定位和建图的方法，可以准确估计被跟踪仪器的姿态，并创建一个场扭曲图。 通过结合冗余电磁传感器的观测，开发了一种运动模型，实现了动态场扭曲补偿，通过实时更新扭曲映射来支持同时定位和校准。 在研究和临床环境中进行的实验表明，这种方法可以显著减少误差，并显示出在真实临床手术中可靠和实用的电磁跟踪潜力。 另一种方法是将电磁场发生器连接到机器人操纵器上，以实现准确和稳健的定位，从而获得增加和均匀的跟踪精度。 这种电磁伺服范式控制着场发生器跟随电磁传感器，并将被跟踪的传感器保持在跟踪体积的中心附近，以生成均匀的测量精度。 这种方法还为临床使用提供了较大的跟踪工作空间。

基于术中成像的形状估计与引导
基于视觉的形状感知技术可以直接提供连续体机器人形状重建的准确测量，无需运动学建模和硬件修改。 它们已经验证比仅使用运动学建模提供更高的准确性。 到目前为止，这些技术已经使用非医学成像模态实现了对连续体机器人形状感知的验证。 它们使用常用的立体或红外相机和距离传感器进行实验准确性验证。 然而，微创手术中使用的连续体机器人主要依赖于标准的术中成像模态，如内窥镜、荧光透视和超声，来引导外科医生进入治疗部位并进行手术。 这些医学成像模态提供了最直接和广泛可用的手段来检测手术连续体机器人和解剖组织。

A. 基于荧光成像的形状重建
双平面荧光成像系统在不同姿势下提供两个同时视图以估计手术形状， 双平面荧光成像驱动的形状重建技术主要包括两种方法：1）自下而上的策略，检测连续体机器人的中心线；2）自上而下的方式，通过初始化一个三维曲线来近似这些特征。

虽然上述方法效果良好，但它们严重依赖于双平面C型臂系统，在血管内介入过程中受到成本高、辐射剂量大或操作空间受限的限制。 为了解决这些限制，最近基于单平面C型臂系统的手术连续体机器人的形状重建方法也已经通过与运动学建模和手术连续体机器人的先验特征知识的结合而得到发展。

表III. 基于术中成像模态的三维形状重建

为了获得其三维定向信息进行初始形状估计，使用视觉外观先验。 然后利用这个估计结果确定最佳C臂位置以获得更好的特征提取。 在这个最佳位置下使用荧光成像，重复上述步骤以获得最佳形状重建，如图2(b2)所示。 然而，这两种方法都需要调整C臂位置以实现准确的形状重建，这在当前的临床工作流程中并不总是可接受的，或者由于没有支持准确控制的机器人C臂而无法实现。

图2。 术中基于成像的形状估计。 （a）-（c）基于单平面荧光成像的连续管机器人用于支气管镜检、机器人可操纵导管和用于经鼻手术的同心管机器人的形状估计。 （d）和（e）连续内窥镜器械和用于关节镜检的腱驱动连续体机器人的形状估计。

尽管已经进行了大量关于形状感知的研究，使用荧光成像技术，但大多数这些技术都面临临床工作流干扰和辐射暴露以及大剂量造影剂使用的挑战。 这些开发的算法的稳健性需要进一步研究，并且高计算成本需要在未来的临床应用中降低。

B. 基于内窥镜的形状重建
与X射线荧光成像不同，内窥镜手术采用一种名为内窥镜的手术工具。 通常，在其远端尖端集成了视频摄像机，以在干预过程中进行视觉引导。 柔性内窥镜及其连续体工具（例如活检针和镊子）的形状和远端尖端姿态对内窥镜手术中的操作至关重要。 因此，形状重建在估计内窥镜运动中起着重要作用。 基本上，内窥镜形状重建包括三个主要方面：柔性内窥镜本身、连续体工具和手术场表面。

重建柔性内窥镜的形状对于指导外科医生的操作和确定末端尖端位置在支气管镜检查和结肠镜检查等内窥镜干预中非常有益。 除了基于模型的方法外，还有两种用于内窥镜形状重建的方法，即使用FBG和EM传感器阵列沿内窥镜轴附着的方法，在前两节中已经描述过。内窥镜中使用的连续体工具的形状估计通常通过基于标记或无标记的方法来进行。

手术领域表面重建旨在扩大视角，产生组织表面重建，并跟踪组织变形。 它基本上采用计算机视觉技术，如图像拼接和镶嵌，视觉同时定位和映射，以及立体3D重建。 这些技术用于处理内窥镜视频图像，以应对有限视野的缺点，并为场景图像的交互提供方向和缩放，与超声、CT或磁共振图像融合以增强术中外科引导和机器人控制。大多数基于内窥镜的图像处理技术已经发展用于实时大范围全景视图和三维手术场景重建，以提供人机交互和术中信息给手术平台。 随着内窥镜成像分辨率的提高和内窥镜的灵活性增强，内窥镜姿态可以轻松调整，以实现对连续体机器人和工具-组织相互作用的直接和高质量可视化。 因此，依赖内窥镜成像进行精确控制的连续体工具的尖端估计和形状重建将变得不那么重要。

C. 基于超声成像的形状重建
超声成像提供了另一种术中选择，可以在不暴露于电离辐射的情况下，准确和一致地定位器械。 尽管超声成像的分辨率较低，但它可以实时检测连续体机器人和组织的深度信息。 超声成像已应用于支持和指导某些微创介入手术，例如外周和中心静脉通路、基于针的活检、肝脏和肺部癌症/肿瘤的射频消融，以及心脏导管插入。 最近的进展涉及追踪连续体机器人（例如同心管机器人、可操纵针和心脏导管）的组织变形和尖端位置。 此外，超声还被用于实现形状估计。 此外，通过将生物力学模型与基于超声的图像处理相结合，实现了可操纵针的曲率估计，用于路径规划和进一步的形状重建。 这些实验已在明胶模型和鸡胸组织上得到验证。

超声引导介入的问题仍然具有挑战性，因为分辨率低、信噪比低，并且由连续体机器人和仪器产生各种成像伪影，特别是对于金属类型的伪影。超声驱动的形状重建也存在计算量大、精度低的问题，其精度明显低于使用荧光透视图像进行形状重建。为了解决这些问题，已经提出了超声和荧光成像模态的融合，用于指导TAVI和心脏导管插入手术，因为它们具有互补的特性。 X射线荧光透视提供了连续体机器人的2D高对比度成像，而超声则支持深度信息以可视化它们和组织。

总结和展望
连续体机器人形状感知技术在微创手术中的技术进展和最新应用，包括FBG感知、EM跟踪和术中成像模式这些技术具有不同的优势和缺点，但通常能够实时估计形状和定位末端，并具有合理的准确性。一些已经应用于连续体机器人，作为实时反馈信息，实现闭环控制和路径规划。 尽管在形状感知方面取得了重要进展，但要形成一个准确和稳健地重建不同手术连续体机器人形状并实现与当前临床工作流程的无缝集成的通用框架仍然具有挑战性。

FBG感知技术在大多数临床应用中具有显著优势，因为其尺寸小、对电磁干扰不敏感且无需电气连接。 这些技术还展示了相对于基于运动学和力学建模技术的增加的准确性，并支持实时形状检测和闭环控制，而无需大量计算开销。 然而，对于低刚度和长结构的连续体机器人，基于FBG的形状重建存在较大误差，特别是在可操纵导管和内窥镜上的应用。 在连续体手术机器人上，选择适当的FBG传感器数量和安装位置可以减小这种误差并提高成本效益。

摆脱了视线限制，EM跟踪技术在人体内的许多临床程序中越来越多地被应用。 这些优势使得在三维空间中进行空间注册后，能够跟踪和导航连续体机器人。为了克服来自EM传感器的离散姿态信息的问题，常常将基于EM跟踪的形状估计技术与连续体机器人的运动模型融合，以实现更高的精度和鲁棒性。 这种融合可以支持多段连续体机器人上接触点的接触检测和定位，增强在受限空间中的操作安全性。 多个EM传感器驱动的形状估计已被证明对于该融合和形状恢复的状态是可观测的。 然而，EM跟踪技术受到EM场畸变和非均匀跟踪精度的限制，从而限制了它们在手术应用中的应用。 为了解决这些问题，已经开发出使用冗余EM传感器的方法，可以同时定位跟踪的传感器并补偿动态畸变。

术中基于影像的形状感知支持连续体机器人和微创手术仪器的直接测量和重建。这些技术已经验证比仅基于建模的方法更准确。 双平面荧光成像系统基于三角测量或2D/3D配准提供准确的形状重建。然而，双平面荧光成像暴露于辐射，成本高，工作空间受限制，限制了它们的应用。最近，使用单平面C臂系统结合先前的特征知识或来自运动学模型的附加信息也开发了形状重建技术。然而，其中许多需要重新定位C臂以获得多个视图或最佳视图，这在当前临床工作流程中不容易完全整合。超声成像提供了另一种术中选择，并支持深度信息的跟踪，但受到低分辨率和各种伪影的影响。最近发展了将超声和荧光成像的互补成像模态融合起来，以提高准确性，并显示出增强当前临床工作流程的潜力。此外，大多数术中成像模态启用的形状重建技术是耗时的过程，并且它们的鲁棒性需要改进以应对动态场景。

总之，形状感知对于支持闭环控制、路径规划、医生-机器人交互和操作安全对于机器人辅助微创手术至关重要。不同的形状感知方法各有优势和劣势。将这些方法相互集成起来是提高准确性和稳健性的可能框架，而不是独立使用。 例如，基于密集FBG传感器的远端形状估计和基于EM跟踪的近端形状检测可以是解决导管和内窥镜形状感知问题的有希望的方法。 此外，基于FBG传感和EM跟踪的形状重建技术不能完全替代术中成像，后者可以为微创手术提供连续的导航信息。它们可以为改进准确性和稳健性的术中成像启用的感知提供初始形状估计，同时减少计算成本。 因此，将术中成像与FBG传感或EM跟踪相结合，用于稳健的形状估计是实现高准确性和创建新的、改进的临床工作流程的有希望方法。

Reference
[1] Shi, C., Luo, X., Qi, P., Li, T., Song, S., Najdovski, Z., … & Ren, H. (2016). Shape sensing techniques for continuum robots in minimally invasive surgery: A survey. IEEE Transactions on Biomedical Engineering, 64(8), 1665-1678.