超声智能协作机器人关键技术研究及医学领域应用项目

一、项目研究背景

1.1 研究意义

当前，医疗卫生领域正面临着多重挑战，包括提高诊断精确度、克服医疗资源匮乏和缓解医生工作负担等。为了解决这些问题，人工智能和机器学习等技术衍生出的人机协作技术，已经成为改善医疗卫生领域的一种趋势。

虽然常规超声成像有很多优点并且经验丰厚，但操作医师的手法对结果影响较大，而且长期持握超声探头会导致肌肉骨骼疾病。此外，机器人检查的天然优势就是能够在空间上分离医生与患者。无论是通过机器人自主识别检查还是医生远程遥操作，都能实现零接触。在刚刚经历新冠疫情在全球肆虐的大背景下，超声机器人可以在不接触患者的情况下进行检测，减少了医务人员和患者之间的接触，能极大减少疾病的传播风险，从而保护在冲在一线的医疗工作者们。因此，越来越多的学者致力于研究机器人辅助超声扫描系统，从而改善超声检查现状，造福医师和患者。

超声机器人还能提供高分辨率的成像结果，能够清晰地显示目标组织的细节；

并且无放射性，不会对患者产生辐射危害，因此在诊断及手术等多方面具有明显的安全优势；同时设备的价格相对低廉，维护费用也较低；此外超声机器人能够在同一设备上进行多种成像方式，如B超、三维及四维成像等，可以满足不同医疗需求，协助医生进行更加准确的诊断和治疗。

目前，在远程超声诊断系统研发和应用领域，我国领先于世界其他地区。新型冠状病毒疫情期间，一些远程超声诊断机器人已在武汉新型冠状病毒感染肺炎的隔离区、医疗资源相对分散的县级医院隔离病房安装，远程超声诊断机器人在新型冠状病毒感染肺炎及其并发症的诊断和治疗后随访中体现出良好的应用价值。所以，超声诊断机器人的临床适用范围前景广阔。

因此，本课题旨在研究人机协作超声诊断机器人的关键技术，以提高系统的操作便捷性、易用性和智能化程度，进一步拓展其临床适用范围。

• 国内外研究现状
  1. 1. 1. 超声诊断机器人研究

现状近年来，超声诊断机器人研究取得了不少进展。例如，2016年Kim Mathiassen等人提出了使用UR5商业机器人搭建远程超声机器人系统的可能性，并成功实现了机器人的顺应力控制和前馈触觉控制。Wang等人提出了一个视图规划平台，实验证明了整个工作流程的可行性，并且该系统的超声采集准确率较高。Guochen Ning等提出了一个基于强化学习的自主机器人超声成像系统,如图1.1所示。该系统基于场景的单一RGB图像控制超声探头对一个柔软的、移动的和无标记的目标进行完全自主的成像。系统使用了一种状态表示模型来降低成像状态的维数，并将力和超声信息编码到场景图像空间中。然后，利用基于策略梯度定理的强化学习模型，以单个RGB图像为唯一观测对象，训练强化模型。最后使用基于导纳控制器的力-位移控制方法实现了自适应恒力跟踪。

图1.1 基于强化学习的自主机器人超声成像系统

Qinghua Huang等人提出了一种基于机械臂的自动超声扫描三维成像系统，并通过实验验证了该系统具有可行性。此外，还有一些基于机器人和探头的超声扫描系统，如Xutian Deng等人通过机器人学习人类演示来学习超声扫描技能；Filip Suligoj等人则使用具有高度自主性的机器人框架扩展了超声医学成像的能力。

1. 1. 1. 1. 动态手势识别研究现状

目前，学者们在动态手势识别方面取得了很多进展。例如，Gurav R M等人使用二值化和轮廓检测方法实时跟踪手指位置和数量，并通过特征向量识别不同的手势。该方法适用于多种应用领域，例如交互式计算机游戏、手势控制设备和虚拟现实系统。Hsieh C C等人则提出一种新的Haar特征提取方法，如图1.2所示，能更准确地表示手部图像中的细节和纹理信息。

图1.2 手势识别神经网络架构

该方法在手势控制、虚拟现实和智能家居等领域具有应用前景。Mujahid A提出了一种基于YOLOv3模型的实时手势识别方法，通过在新数据集上训练模型，可以检测和分类不同手势。当然，可穿戴的生物传感系统也是一种重要的手势识别方法，Moin A等人提出了一种可穿戴的生物传感系统，利用肌肉运动和心率等生物信号，通过内置的机器学习算法进行处理和分类，实现准确的手势识别。Chen J A提出一种基于Leap Motion和双向长短期记忆网络的动态手势识别系统。该系统采用有效代表动态手势的手势特征向量组，并使用一种双向长短期记忆网络模型进行分类识别。这项研究表明，该系统在识别率方面具有较高的性能表现，而Jiang D等人提出的基于骨架化算法和卷积神经网络的手势识别方法，在ASL数据库上也获得了较高的准确率。

1. 1. 1. 1. 遥操作人机协作系统研究现状

远程超声扫描通常需要使用遥操作技术来实现。人们可以使用各种人机交互工具，如鼠标、操作杆和键盘等，来完成遥操作任务。随着时间的推移，越来越多的新型人机交互设备已经相继出现，这些设备大大提高了遥操作系统的研究和应用价值。例如，Kot T等人提议了一种基于增强现实技术的远程操作方法，该方法将机器人的视觉信息和环境信息叠加显示在操作员的视野中，使操作员可以更直观地感知机器人和环境的状态，从而更准确地控制机器人。此外，还有Pan Y等人提出的基于增强现实的机器人远程操作系统，以及Chen Z等人提出的自适应模糊反步控制方法，用于稳定非线性双边远程操作机器人，在医疗手术、危险环境下的操作等领域得到了广泛的应用。

还有一些方法是基于视觉功能进行的，比如Handa A等人提出的DexPilot视觉远程操纵方法，可用于高精度操作的领域，比如制造业和医疗。另外，Luo J等提出了基于人体运动预测的轨迹在线调整方法，用于远程操纵机器人。此外，还有一些方法是使用神经网络进行增强的，比如Su H等人提出的方法，通过神经网络增强的机器人工具识别和校准方法，用于双边远程操作。还有其他一些方法，例如Jang I等提出的基于虚拟现实和Leap Motion技术的直观裸手远程操作机器人的方法，和Qi W等提出的自适应传感器融合标签框架，用于机器人远程操作中手势姿态识别等。总之，遥操作已经得到了广泛的研究和应用，将其用于超声检测是完全可行的。

• 项目已有的基础：

我们研发了一套既可以通过遥操作实现人机协作超声扫描，又可以让机器人进行自动超声扫描的机器人系统。当面临简单重复的检测场景时，可以采用自动超声扫描，快速准确地完成自动超声扫描任务；当面临复杂的非结构化环境时，可以采用遥操作超声扫描技术代替自动超声扫描，通过人机协作的方式，提升扫查精度。并且本研究项目建立在Leap Motion、Kinect、BiLSTM网络模型、UR3机械臂等技术的基础上，将它们集成起来为实现自然人机协作的遥操作超声扫描提供支持。研究积累和已取得的成绩：本研究项目提出了一种基于Leap Motion和BiLSTM网络模型的动态手势识别方法，并建立了一套人机协作动态手势库。在所提出的手势识别方法中，使用了Leap Motion视觉传感器实时采集操作者的动态手势，结合使用了单指特征和多指特征作为动态手势样本进行训练和识别，识别后将自动执行相应的语义功能转换，通过人手的自然手势遥操作控制UR3机械臂，执行遥操作超声扫描，实现了主从端的自然人机协作交互。经实验验证，该手势识别方法的识别准确率高达98.42%。同时，本项目还研究了使用Kinect深度相机采集人体的RGB-D图像，并建立人体点云模型的方法，并提出了一种基于聚类彩色引导图的深度图像修复方法，以及一种组合算法用于有效抽离人体点云模型。

条件：本研究项目已经搭建了一套完整的人机协作超声诊断机器人系统，并对其进行

遥操作跟踪实验、动态手势识别实验和自动超声扫描实验。我们基于Kinect，Leap Motion，UR3机器人以及PC机和上述的研究成果，搭建了一套人机协作超声诊断机器人系统，并进行了遥操作跟踪实验，动态手势识别实验和自动超声扫查实验。实验结果表明，本系统可以完成人机协作辅助医疗的目标，这为后续的研究提供了基础。

• 尚缺少的条件及方法

传统超声诊断受到医生技能水平和设备限制的影响；

现有的超声机器人要么需要遥操作技术控制，要么需要自主控制算法，无法同时满足不同医疗场景下的扫查需求；

研究人员需要开发一套既可以通过遥操作实现人机协作超声扫描，又可以让机器人进行自动超声扫描的机器人系统，以应对不同场景下的扫查需求。

在目前的研究中，针对提升动态手势识别准确率和节约训练模型时间的方法还存在一些缺乏的问题和有待改进的地方。

二、项目研究目标及主要内容

1. 1. 1. 基于Leap Motion的遥操作与动态手势识别

首先本项研究计划利用Leap Motion体感控制器对人手实现实时跟踪，并进行动态手势识别，同时建立了Leap Motion坐标系到机械臂基坐标系的映射关系；利用Savitzky和Golay提出的Savitzky-Golay滤波器完成人手位置数据流的防抖滤波处理；最后利用双向长短记忆神经网络(Bi-directional Long Short-Term Memory, BiLSTM)对所获取信息进行分类训练，提取特征值，构建出手势识别分类模型。

1. 1. 1. 人体点模型构建

本项研究将使用彩色图像和深度图像对人体表面建模，再通过手眼标定确定相机坐标系下的人体模型在机械臂基坐标系下的位置。通过Kinect v2深度相机获取彩色与深度图像但是由于Kinect v2在拍摄图像时精度较低，所以需要对图像进行修复；对于彩色图像用K-means 聚类算法进行图像分割，进而将性质相近的像素点被分为同一类；对于深度图像则采取快速行进算法(Fast Marching Method, FMM)完成对深度图像上的空洞和物体边缘的修复；然后利用峰值信噪比PSNR(Peak Signal-to-Noise Ratio)为依据来检测被修复图像。最后在深度图像的基础上建立了点云模型，并利用RANSAC算法将背景平面从点云中剔除出去，最后使用DBSCAN聚类算法将除人体模型以外的点云去除。由此，人体点云模型成功构建。

1. 1. 1. 机械臂的控制：

此次项目研发中机械臂计划使用UR3协作机器人。本项研究中设计人机协作超声诊断机器人有两种工作模式，分别是遥操作超声扫描和全自动超声扫描。在进行遥操作超声扫描时，操作者的手和Leap Motion提供目标位姿；在系统进行自动超声扫描时，机械臂的扫描轨迹由系统根据点云模型自动生成，在轨迹上利用最小二乘局部平面拟合方法求取了轨迹上的法向量作为机械臂末端执行器在进行自动超声扫描时的姿态

1. 1. 1. 机器人系统设计

人机协作超声诊断机器人系统通过机械臂、Kinect深度相机以及Leap Motion传感器完成遥操作超声扫描和自动超声扫描，对于Kinect v2深度相机模块和Leap Motion传感器模块前文已经介绍并且获得了人体胸腹部点云模型随后根据深度图像建立点云模型并在此基础上规划自动超声扫描时的轨迹；最终完成自动超声检查依赖于机械臂以及固定在机械臂末端执行器上的超声探头。将最终结果利用电脑进行终端显示

三、项目创新特色概述

1. 1. 1. 基于Leap Motion的遥操作与动态手势识别

（1）区别于鼠标键盘等传统人机交互设备，Leap Motion工作时不需要操作者与之进行接触，并且精度与帧率相对较高；

（2）本项研究采用的双向长短记忆神经网络具有可自我学习、自我优化的特点；并且能够同时考虑过去和未来的输入信息，较传统的记忆神经网络模型LSTM而言，克服了只能访问之前序列信息的缺点，可以更好地捕捉双向的依赖关系。

1. 1. 1. 人体点模型构建

本项研究在构建人体点云模型时，为了将人体附近的其他点云过滤掉，本项研究计划使用DBSCAN(Densit y-Based Spatial Clustering of Applications with Noise)聚类算法对点云进行进一步处理。不同于K-means聚类算法，DBSCAN没有聚类中心，而是通过将相邻的点连接在一起形成集群，是一种基于密度的聚类方法。

DBSCAN不需要提前指定簇的数量，而是通过指定ε和min_samples两个参数来调整聚类的过程。其中控制邻域范围的大小，若两个点的距离小于该值则它们被划分为同一类。调整该参数将影响最终簇的数量。min_samples参数指定了形成一个聚类需要相互连接的最少的样本数量，低于此数量的样本集群将被标记为噪声。本项研究中待提取的人体点云模型周围可以被分为多少聚类是未知的，因此DBSCAN聚类算法相对于传统的K-means算法在此应用中更为合适。

1. 1. 1. 机械臂的控制

1. 1. 1. 机器人系统设计

未完待续～～