【笔记】医学图像配准综述（2014年以前）_large deformation diffeomorphic metric mapping

本博文是阅读几篇医学图像配准综述的笔记，主要是2014年前。本博文也按照模型，策略，算法三个层面总结医学图像配准的相关内容。内容繁多，故用大纲形式以做概览，不涉及具体，详见文末参考文献。另外，之后会推出另外一篇博文，关于深度学习技术，如CNN,GAN等在医学配准任务中的相关工作。平台上有很多优秀的配准类笔记，拙记实在是狗尾续貂，如有任何意见请评论留言，帮助我写出好的博文，以飨读者！

概念及基础

1. 根据实际应用场合选取适当的变换模型；
2. 选取合适的特征空间，基于灰度或基于特征；
3. 根据变换模型的参数配置以及所选用的特征，确定参数可能变化的范围，并选用最优的搜索策略；
4. 应用相似性测度在搜索空间中按照优化准则进行搜索，寻找最大相关点，从而求解出变换模型中的未知参数；
5. 将待配准图像按照变换模型对应到参考图像中，实现图像间的匹配。

基本变换

• 刚体变换：距离不变，旋转和平移
• 仿射变换: 直线平行
• 投影变换：直线不平行
• 非线性变换：曲线

根据配准模式分类

• 单模态：待配准的两幅图象是用同一种成像设备获取
• 多模态：待配准的两幅图象来源于两种不同的成像设备

根据受试对象分类

• 对象间
• 对象内部

图像配准质量评估标准

• 单模图像配准常使用 相关性（Correlation Coefficient, CC） 来衡量效果，
• 而多模图像配准常使用 互信息（Mutual Information, MI） 衡量。
• DICE loss
• 熵相关系数（Entropy Corrleation Coefficient，ECC）

• Demons算法及其扩展
• 块匹配和HAMMER

模型

• 非参数模型:图像被看成是一片有弹性的薄膜, 在外力和内力的作用下达到平衡, 外力由参考图像和变形图像的差异确定;内力由薄膜的强度和平滑程度确定
  • 如:流体模型,扩散模型,光流模型
• 参数模型:模型由基函数及其参数来表示, 模型的计算过程也就是参数的计算过程
  • 仿射变换、B-spline based FFD
  • 基函数如:多项式、谐波函数、分级基函数、小波、B样条

• 来源于物理模型的几何变换
  • elastic body models
    • Linear Models： the image under deformation is modeled as an elastic body
    • Nonlinear Models： linear elastic models cannot cope with large deformations, to account for large deformations
  • viscous fluid flow models
  • diffusion models
  • curvature registration
  • flows of diffeomorphisms
    • Large Deformation Diffeomorphic Metric Mapping (LDDMM)
• 来源于插值的几何变换
  • Radial Basis  Functions
  • Elastic Body Splines
  • Free-Form Deformations
  • basis functions from  signal processing
  • Locally Affine Models
    • piecewise affine models
    • poly-affine
• 基于知识的几何变换
  • Statistically-Constrained Geometric Transformations:

• of subjects
  • PCA
• Geometric Transformations Inspired by Biomechanical/Biophysical Models

• • Tumor growth models
  • Biomechanical models of the breast
  • Biomechanical models of the prostate
  • Miscellaneous
• 特定任务约束
  • Topology Preservation
  • Volume Preservation
  • Rigidity Constraints

• inverse consistency
• symmetry
• topology preservation
• diffeomorphism
• asymmetric

匹配方法(策略)

• 几何法( Geometric Methods): 在landmarks之间建立对应联系. 这方面的兴趣今年减少了.
  • 仅仅推断对应关系:这种方法当与基于插值的变换模型结合预测密集位移是有用的.使用稀疏几何法和图标准则可提高空间变换
    • Matching by descriptor distance: 描述子包含的信息用于确定两图像间的对应关系
      1. a spectral technique to solve the matching problem
      2. Pairwise constraints were used to preserve pairwise geometry
      3. graph matching problem with higher order constraints
    • Matching through geometric constraints:结构约束把对应关系问题构建为图匹配
  • 仅仅推断空间变换:不直接建立两个lanmarks集之间的对应关系, 而实预测一个空间变换使得两个lanmarks集合对齐. 根据对应关系是否已知分为两类
    • Known correspondences
      1. Procrustes analysis
      2. Given the correspondences, one may estimate non-rigid transformations by adopting an interpolation strategy
      3. Radial basis functions are able to produce dense deformation fields for any spatial distribution of points
      4. approximating splines are able to account for the uncertainty in the estimated correspondences
    • Unknown correspondences:  estimate the transformation without concerning itself with the establishment of correspondences
      1. through the use of alternative representations of the geometric information. One possibility is to represent the point sets as probability distributions
      2. establish correspondences is by adopting a representation of the geometric information based on the use of signed distance functions
  • 两者都进行推断:  estimate the correspondences and the transformation at the same time,  This is usually performed in an iterative way
    • Iterative Closest Point (ICP)  has drawn a lot of attention
    • multiscale EM-ICP
    • dual-bootstrap ICP
    • Thin-Plate Spline Robust Point Matching (TPS-RPM)
• 标记法(Iconic Methods): 通常指的是voxel-based 或者 intensity-based 方法, 量化对齐效果. 与几何法相比,  it has the potential to better quantify and represent the accuracy of the estimated dense deformation field.
  • Mono-Modal Registration
    • Intensity-based methods:两个图像之间的灰度值是线性关系
      1. Cross Correlation (CCor)
      2. Correlation Coefficient (CCoef)
    • Attribute-based methods: 通过使用能表示潜在解剖的集合结构, 引入局部信息进行特征空间增广.
  • Multi-Modal Registration
    • reduction of the multimodal problem to a mono-modal problem
      1. simulating one modality from another,  simulate one modality from another so that at the end both images come from the same modality.  achieved by taking advantage of the available  knowledge regarding the physical properties of the imaging device
      2. mapping both modalities to a common domain,  one can map both images to a third domain where the registration will take place
    • use of information theoretic measures
      1. Mutual Information (MI):  An important property of MI is its generality. The way of  estimating entropy:  a) non-parametric estimator
      2. Local evaluation of mutual information: Regional Mutual Information (RMI)
      3. NMI
      4. Correlation Ratio (CR)
      5. f-information measures
      6. divergence measures: Kullback-Leibler Divergence (KLD),  Jensen-Shannon Divergence (JSD)
      7. Jensen-Renyi divergence(based on Renyi Entropy (RE))
• 组合法(Hybrid Methods):将上面两种方式杂糅, 根据几何信息的使用方式分为
  • as initialization：通过几何法先粗配准，然后使用标志法refine。
    • Exploiting landmarks information
    • Exploiting surface information
  • as constraint：用一种类型的信息初始化通常会使得配准过程的鲁棒性增加，但是不能保证此前建立的对应关系被保存下来。因此，在第一步预测的对应关系被用作后续步骤的约束。
    • Additional information used as soft constraint
    • Additional information used as hard constraint
    • Coupled approaches：标志法能受益于几何法的初始化或者通过几何法建立的初始对应关系，但是反过来却不行，因为几何发的解是独立获得的。通过一个目标函数，将两者统一起来。
  • in a coupled fashion

算法

• 连续
  • 梯度下降（GD），随机梯度下降(SGD)
  • 共轭梯度法（ Conjugate gradient）
  • 拟牛顿法（ Quasi-Newton）
  • 高斯牛顿法（ Gauss-Newton）
  • 约束优化方法: 拉格朗日转化为无约束问题，再使用上述无约束优化方法。
• 离散
  • 基于图方法: 最大流最小割
  • 变分推断,  Belief propagation methods
  • 线性规划