文献学习-19-基于dVRK平台的机器人柔性内窥镜的外科医生偏好引导自主器械跟踪方法

A Surgeon Preference-Guided Autonomous Instrument Tracking Method With a Robotic Flexible Endoscope Based on dVRK Platform

Authors: Yisen Huang , Jian Li, Xue Zhang, Student Member, IEEE, Ke Xie, Jixiu Li, Yue Liu , Calvin Sze Hang Ng , Philip Wai Yan Chiu , and Zheng Li , Senior Member, IEEE

Key words: Medical robots and systems, visual servoing, deep learning for visual perception.

Source: IEEE ROBOTICS AND AUTOMATION LETTERS, VOL. 7, NO. 2, APRIL 2022

Abstract:

在微创手术中，内窥镜是外科医生的眼睛。为了避免手动内窥镜转向疲劳，已经开发了机器人内窥镜支架。不幸的是，由于外科医生与机器人的合作不佳，现有的机器人内窥镜支架并未被广泛采用。在这项工作中，我们开发了一种基于达芬奇研究套件的智能柔性内窥镜系统。在系统中，手术器械采用定向边界框的物体检测方法进行实时检测和分类。建立6243张图像的自定义数据集，对检测神经网络进行训练。然后，提出了一种外科医生偏好引导的视觉伺服控制方法，用于微创手术中检测到的器械的自动跟踪。为了实现图像平面上的3自由度控制，该文采用基于图像矩的视觉伺服控制方法。为了提高系统控制的动态性能，开发了一种改进的遗传算法来选择机器人控制器的最优增益。仿真和实验结果都验证了所提智能柔性内窥镜系统的可行性。

本文旨在为外科医生提供基于深度学习的器械检测器的偏好引导视觉伺服方法。主要贡献如下。1）我们在内窥镜的视觉伺服过程中提出了“外科医生的偏好”概念，这更符合外科医生的手术偏好。2）采用基于图像矩的视觉伺服方法，实现对图像平面的3-DoF控制。这种方法使仪器以自定义尺寸保持在 FOV 中。3）提出了一种基于定向边界框（OBB）的仪器检测方法，用于检测FOV中的感兴趣区域（RoI），实现了高精度的实时检测。

表一 外科医生在视觉伺服方面的偏好

在典型的 MIS 场景中，外科医生操作两种器械：一种在惯用手，另一种在辅助手。在这种情况下，外科医生希望专注于一种在手术中起主要作用的器械。我们通过反复观看手术视频和咨询威尔斯亲王医院（PWH）的外科医生，得出以下几点。首先，总结了MIS中常用的手术工具，并按其功能分为3个重点。可以切除组织/器官的器械在 MIS 中具有更高的优先级。其次，需要定制图像平面上不同仪器的大小。例如，吸盘在FOV中不需要占据很大的比例，而超声刀（英国）在FOV中的比例不宜太小;否则，外科医生将难以进行手术。第三，工作区域通常位于仪器的尖端，这意味着 FOV 的 ROI 取决于仪器。因此，我们总结并定义了内窥镜视觉伺服过程中的“外科医生偏好”：将仪器的 ROI 放置在 FOV 的中心，并按照伺服优先级定制尺寸。表一总结了工具的类型、跟踪订单和相对规模

首先，仪器检测器获取内窥镜的图像并检测仪器的投资回报率。其次，当不同的仪器同时出现时，控制器将首先舵机具有最高优先级的仪器。如果具有相同优先级的仪器同时出现，则跟踪顺序将由表I确定。例如，当剪刀和英国同时出现时，算法将首先跟踪英国。然后，将电流和所需图像矩特征之间的误差反馈给PD控制器。最后，在手术过程中，内窥镜可以实时检测器械，工具上的 ROI 可以用图像平面上的四边形（图 3（a） 中的绿色四边形）来描述。

图 1.基于 dVRK 的柔性内窥镜的运动学建模。（a） 患者侧操纵器（PSM）和柔性内窥镜。（b） 机器人上的坐标系。（c）用θ和φ表示的柔性接头，分别是弯曲角度和弯曲方向。

图 2.具有联合极限约束的PD控制器的控制框图。

Fig. 3. OBB-based instrument detection. (a) Comparison between OBB and HBB. The red box is HBB while the green one is OBB. (b) Representation of the instrument based on four gliding vertexes. (c) Network architecture. Adding additional four variables (ηi ∈ [0, 1] with i ∈ {1, 2, 3, 4}) to the head of the YOLO V4.

图 4.仿真结果。（a） 初始状态。（b） 最后状态。（c） 基于最优PD控制器的仿真结果。（d） 基于ZN方法的仿真结果。（e） IGA和SGA之间的成本函数收敛比较。“SGA-0.1”表示突变概率为 0.1 的 SGA，依此类推。（f） 消融研究。“SGA-A”代表从 [19] 改进的 SGA，“SGA-B”代表具有建议的动态适应度函数的 SGA，“IGA”代表具有改进和提议的动态适应度函数的 SGA.

图 5.实验设置和一些检测结果。（a） 实验的整个设置。（b） 检测结果（上）和地面实况（下）。剪刀、吸盘（左）和英国（右）的检测结果。

图 6.单台仪器跟踪的实验结果。（a） 随机放置的英国（b）-（d） 3 个实验期间的图像矩特征误差。（尖峰是通过手动操作引入的）。

图 7.多仪器跟踪实验结果。在第一阶段和第三阶段，跟踪目标是英国，而在第二和第四阶段，跟踪目标是VST。内窥镜将在最后阶段跟踪吸盘。

图 8.真实场景内窥镜图像与不同跟踪方法的比较。（a） MIS的真实现场内窥镜图像。（b） 拟议的外科医生偏好引导方法的视觉伺服结果。（c）传统的基于点的视觉伺服方法的结果。

图 9.组织切除任务的实验结果。（a） 随机放置的剪刀和夹子。（b）实验过程中的像矩特征误差。

在这封信中，我们意识到外科医生的偏好引导使用基于 dVRK 的柔性内窥镜自主跟踪 MIS 器械。采用基于图像矩的视觉伺服方法，实现对图像平面的3-DoF控制。使用这种方法，器械将以合适的尺寸放置在相机视图的中心，这与外科医生的操作偏好一致。为了实现PD控制器良好的动态性能，该文提出一种改进的遗传算法来选择控制器的最优增益。这项工作的另一个贡献是首次在MIS仪器上使用基于OBB的目标检测方法。这种方法可以准确地表示仪器上外科医生的投资回报率，检测精度和速度都很高。该探测器在我们的测试数据集上实现了 95.12% 的准确率，速度超过 100 FPS。我们成功完成了模拟胸腔内猪肺的单/多器械跟踪任务，这是所提方法临床应用可行性的初步证据。该系统的未来改进可能包括在线学习控制器的最佳参数和提高探测器的精度。在需要进一步研究的遮挡和光线条件差的情况下实现准确的仪器检测。通过邀请专业外科医生进行用户研究也是我们未来的工作之一。

Reference:

[1] Huang, Y., Li, J., Zhang, X., Xie, K., Li, J., Liu, Y., ... & Li, Z. (2022). A surgeon preference-guided autonomous instrument tracking method with a robotic flexible endoscope based on dVRK platform. IEEE Robotics and Automation Letters, 7(2), 2250-2257.