文献拜读小记：1.腹腔镜增强现实导航的研究进展综述_腹腔镜手术导航 显示方式

腹腔镜到底是什么呢？
专家介绍，它是一种带有微型摄像头的器械。腹腔镜手术就是利用腹腔镜及其相关器械进行的手术：使用冷光源提供照明，将腹腔镜镜头（ 直径为3-10mm）插入腹腔内，运用数字摄像技术使腹腔镜镜头拍摄到的图像通过光导纤维传导至后级信号处理系统，并且实时显示在专用监视器上。然后医生通过监视器屏幕上所显示患者器官不同角度的图像，对病人的病情进行分析判断，并且运用特殊的腹腔镜器械进行手术。

1.腹腔镜的光学视野局限，狭窄视野需要借助术前图像：

如CT、MRI

2.单纯虚拟现实过度依赖医生的经验和技巧，需要增强现实：

增强现实（AR）导航技术的应用能有效解决 微创术中视野有限的问题．不同于虚拟现实（VR）， AR 是将虚拟信息融合在现实环境中，以增强用户 对现实环境的理解．具体在外科手术中，AR 通过可视化组织表面下的重要解剖结构（如血管、神 经、病灶等），将这些信息实时配准到当前医生视 野（例如腹腔镜视野）内，使手术更加精准和安全．

3.由于腹腔环境的特殊性（动态非结构化），腹腔内的软组织器官在术中存在大变形和移位问题，使得 LARN 相比神经外科、耳鼻喉科、颜 面外科及骨科中的增强现实导航技术更难实现：

现阶段的主要操作如下：
名词：腹腔镜增强现实导航（LARN，Laparoscopic augmented reality navigation）系统

4.对于实时形变，导航的静态配准需要进行优化：

基于静态配准的结果，实时配准的过程可以加 入优化配准模型来进一步提高配准精度，但其主要任务还是实现手术过程中配准的实时性．实时配准 的过程即对增强现实显示场景进行运动补偿的过 程，进而实现实时的增强现实导航．

• 该运动补偿过程可以通过光学、电磁等跟踪设备跟踪实现
• 也可以通过处理腹腔镜图像，利用光流法、特征匹配跟踪等算法计算完成．

5.手术导航的显示方式

可分为光学叠加（optic see-through）、3D 图像叠加（3D image overlay）、投影叠加（projector based）以及视频叠加（video seethrough）4 种形式．

其中视频叠加是将虚拟的组织器官叠加 显示到术中内窥镜视频中进行增强现实导航的形式．在微创手术中，医生是在内窥镜视图的指导下 工作，这种方式的增强现实显示形式在实际运用中 自然方便，使得该导航显示方式相比于其他显示方 式具有较强的优势，得到了广泛的发展，是当前腹 腔镜增强现实导航的主要形式．

6.技术难点

(1) 配准技术
在 LARN 系统中，配准的目的是寻找虚拟场景 和实际场景之间的映射关系，是增强现实手术导航 的核心技术．

• 刚性组织可以在患者体外粘贴标记点并通过点对配准算法完成配准
• 然而腹腔内软组织 的配准无法采用这种方法．手动选取体内软组织解剖特征点的方法精度不高且无法应对组织变形．
• 基于形状匹配的配准方法需要对软组织表面进行光学 3 维重建，然而目前术中表面 3 维重建方法易受到光照、遮挡、背景干扰等影响，鲁棒性较低．

如何 开发适用于软组织手术导航的高精度图像配准技术 是研究的方向和难点
(2) 变形补偿
术前获取 CT 或 MRI 图像时患者的体位和腹腔状态与术中不同（术中为气腹状态），而且术前数 据与术中状态之间存在时间间隔，这导致术中组织 解剖结构与术前 3D 模型不一致．
同时，腹腔内并 没有刚性结构空间约束，术中人体的呼吸心跳、器 械的交互也会导致感兴趣器官解剖结构的移位、变 形甚至拓扑结构的改变，因此实时完成这些移位和 变形的评估和补偿是实现高精度配准的必要条件．
虽然心跳、呼吸是接近周期性的，可以通过特定类 型的自然运动进行补偿，但其他类型的变形均 是不可预知的．而当前并没有理想的非刚性配准模 型完成此类变形补偿，使得 LARN 中的变形补偿成 为技术难点．虽然利用术中医学图像可以解决一部 分变形问题，但术中 CT 增加了医生和患者的额外 辐射，通用性差，且基于术中数据的 LARN 系统实 现需要外部跟踪设备来辅助
(3) 运动补偿
手术是一个动态过程，要求导航系统必须具有 实时配准的能力以实现增强现实场景的随动．
实现运动补偿的常见方法是跟踪内窥镜图像 中的特征标记点（自然或人工标记点）的运动或使 用跟踪传感器跟踪腹腔镜的运动
．电 磁跟踪虽然无需直接视线，但常常受到诸如手术台 之类的铁磁物体的干扰而跟踪失真．因此有人提出 了光电混合跟踪以保证跟踪的连续性和精度，但这 无疑增加了系统的复杂性，且各跟踪系统之间的位 置校准越多，累积误差会越大
(4) 精度验证
LARN 的目的是增强手术场景的可视化，其最 主要的评判标准就是目标配准精度（target registration error，TRE）．
到目前为止，LARN 的导航精度 评价主要依赖于几何尺寸已知的模型实验或体外数 据验证，在实际手术介入中还缺乏评价标准．虽然 通过比较器官表面特征点的位置可以初步评价 AR 系统的配准精度，但只能验证软组织表面处的目标导航精度，对于器官深处的靶点（肿瘤或血管）仍 然缺乏有效的事前精度验证方法．
(5) 感知适应
良好的增强现实显示效果能使医生对手术场景 有更好的感知．然而，研究表明，AR 导航可能会对外科医生的注意力产生重要影响，如何避免 视觉错觉，采取更适当的渲染算法十分重要．AR 中通常使用透明度来降低增强现实场景对医生的干 扰，但透明度也会降低增强现实场景与实际手术场 景的对比度，二者的平衡难以把握．如何做到虚拟 场景和真实场景的无缝过渡与自然叠加，将人眼观察的不适感降到最低是增强现实显示技术需要解决 的问题．