大盘点 | 2020年「21篇」医学影像算法最佳综述_人工智能在医学影像中常用算法有哪些

作者丨cynthia yawain

编辑丨极市平台

本文为极市平台原创整理 https://mp.weixin.qq.com/s/kYt_4CKdagbXPWu42Noh0w

极市导读

我们对2020年全部计算机视觉综述论文进行了分方向梳理，本文为医学影像方向，包括医学图像配准、医学图像分割、迁移学习和多模态融合等方向。 

引言

在过去的一年中，计算机视觉领域出现了许多优秀的工作，并推动了相关领域的技术发展与进步。去年上半年，极市曾盘点过计算机视觉领域综述论文，并进行了分类整理，得到了很多读者的支持。因此，在2021年初，我们对2020年出现的全部计算机视觉综述论文进行了分方向梳理，希望能帮助大家学习进步。本文是第三篇，医学影像方向。

注：文章将同步更新于Github上，欢迎大家 star/fork（点击阅读原文即可跳转）：
https://github.com/extreme-assistant/survey-computer-vision

综述一

标题：A Comprehensive Review for Breast Histopathology Image Analysis Using  Classical and Deep Neural Networks（使用经典和深层神经网络进行的乳房组织病理学图像分析的全面综述）
作者：Xiaomin Zhou,  Tao Jiang
链接：https://arxiv.org/abs/2003.12255

本文梳理了184篇相关文献，由东北大学学者发布。

乳腺癌是女性中最常见和最致命的癌症之一。由于组织病理学图像包含足够的表型信息，因此它们在乳腺癌的诊断和治疗中起着不可或缺的作用。为了提高乳腺组织病理学图像分析（BHIA）的准确性和客观性，人工神经网络（ANN）方法被广泛用于乳腺组织病理学图像的分割和分类任务。在这篇综述中，我们提出了基于人工神经网络的BHIA技术的全面概述。

 

 

 

 

H＆E染色的图像类型不同，（a）是正常组织，（b）是良性异常，（c）是原位癌，（d）是浸润性癌。这些图像来自BACH数据集：

AI知识系统中ANN技术的结构：

综述二

标题：Medical Image Registration Using Deep Neural Networks: A Comprehensive Review（使用深度神经网络的医学图像配准：全面综述）
作者：Hamid Reza Boveiri, Ali Reza MehdiZadeh
链接：https://arxiv.org/abs/2002.03401

本文梳理了117篇相关文献。

以图像为指导的干预措施正在挽救大量患者的生命，在这些患者中，图像配准问题确实应被视为最复杂的问题。另一方面，由于在当代的多核GPU上实现深度神经网络的可能性，使得机器学习领域取得了巨大的进步，这为许多医疗应用打开了一个有希望的挑战之门，本文对使用深度神经网络进行医学图像配准的最新文献进行了全面回顾，系统地涵盖了该领域的相关作品，包括关键概念，统计分析，关键技术，主要贡献，挑战和未来方向。

基于优化程序的常规图像配准技术的工作流程：

综述三

标题：Towards Automatic Threat Detection: A Survey of Advances of Deep Learning within X-ray Security Imaging（自动威胁检测：X射线安全成像中深度学习进展综述）
作者：Samet Akcay, Toby Breckon
链接：https://arxiv.org/abs/2001.01293

本文梳理了151篇相关文献，由英国杜伦大学学者发布。

X射线安全检查被广泛用于维护航空/运输安全，其重要性引起了对自动检查系统的特别关注。本文旨在通过将领域分类为常规机器学习和当代深度学习应用程序来回顾计算机化X射线安全成像算法。将深度学习方法分为有监督，半监督和无监督学习，着重论述分类，检测，分割和异常检测任务，同时包含有完善的X射线数据集。

X射线安全成像中深度学习应用程序中使用的数据集：

输入的X射线图像和输出取决于深度学习任务，（a）通过ResNet-50进行分类，（b）使用YOLOv3进行检测，并通过Mask RCNN进行分割：

综述四

标题：Deep neural network models for computational histopathology: A survey（用于计算组织病理学的深度神经网络模型综述）
作者：Chetan L. Srinidhi, Anne L. Martel
链接：https://arxiv.org/abs/1912.12378

本文梳理了130篇相关文献，由多伦多大学学者发布。

本文对组织病理学图像分析中使用的最新深度学习方法进行了全面回顾，包括有监督，弱监督，无监督，迁移学习等领域，并总结了几个现有的开放数据集。

监督学习模型概述：

综述五

标题：A scoping review of transfer learning research on medical image analysis using ImageNet（利用ImageNet进行医学图像分析的迁移学习研究述评）
作者：Mohammad Amin Morid, Guilherme Del Fiol
链接：https://arxiv.org/abs/2004.13175

本文共梳理144篇相关文献。

在非医学ImageNet数据集上受过良好训练的卷积神经网络（CNN）运用转移学习（TL），近年来在医学图像分析方面显示出令人鼓舞的结果。本文旨在进行范围界定审查，以识别这些研究并根据问题描述，输入，方法和结果总结其特征。

每个解剖部位使用不同可视化方法的频率。仅显示包含的研究中总体频率至少为5％的网站：

综述六

标题：Deep Learning Based Brain Tumor Segmentation: A Survey（基于深度学习的脑肿瘤分割研究综述）
作者：Zhihua Liu, Huiyu Zhou
链接：https://arxiv.org/abs/2007.09479

本文共梳理129篇相关文献。

脑肿瘤分割是医学图像分析中一个具有挑战性的问题。脑肿瘤分割的目标是使用正确定位的遮罩生成脑肿瘤区域的准确轮廓。许多基于深度学习的方法已应用于脑肿瘤分割，并获得了令人印象深刻的系统性能。本文的目的是对最近开发的基于深度学习的脑肿瘤分割技术进行全面的调查。本文中涉及的文献广泛涵盖了技术方面，例如不同方法的优缺点，预处理和后处理框架，数据集和评估指标。

不同种类的全卷积网络（FCN）之间的高级比较：

综述七

标题：A Survey on Deep Learning for Neuroimaging-based Brain Disorder Analysis（基于神经成像的脑疾病分析深度学习研究综述）
作者：Li Zhang, Daoqiang Zhang
链接：https://arxiv.org/abs/2005.04573

本文共梳理131篇相关文献。

深度学习最近已用于分析神经影像，例如结构磁共振成像（MRI），功能性MRI和正电子发射断层扫描（PET），并且在传统的机器学习方面，在对脑部疾病的计算机辅助诊断中，其性能得到了显着改善。本文概述了深度学习方法在基于神经影像的脑部疾病分析中的应用。本文回顾了深度学习方法，以计算机辅助分析四种典型的脑部疾病，包括阿尔茨海默氏病，帕金森氏病，自闭症谱系障碍和精神分裂症。

生成对抗网络的体系结构：

综述八

标题：A review: Deep learning for medical image segmentation using  multi-modality fusion（多模态融合用于医学图像分割的深度学习综述）
作者：Tongxue Zhou,  Stéphane Canu
链接：https://arxiv.org/abs/2004.10664

本文共梳理79篇相关文献。

多模态在医学成像中被广泛使用，因为它可以提供有关目标（肿瘤，器官或组织）的多信息。使用多模态的细分包括融合多信息以改善分割效果。近来，基于深度学习的方法在图像分类，分割，目标检测和跟踪任务中展现了最先进的性能。由于其对大量数据的自学习和泛化能力，深度学习最近也引起了人们对多模式医学图像分割的极大兴趣。本文概述了基于深度学习的多模式医学图像分割任务方法，提出了不同的深度学习网络架构，然后分析了它们的融合策略并比较了它们的结果，本文还讨论医学图像分割中的一些常见问题。

深度学习网络体系结构摘要，ILSVRC：ImageNet大规模视觉识别挑战：

输入级融合的通用网络体系结构：

综述九

标题：Medical Instrument Detection in Ultrasound-Guided Interventions: A Review（超声引导治疗的医疗器械检测）
作者：Hongxu Yang, Peter H. N. de With
链接：https://arxiv.org/abs/2007.04807

本文共梳理94篇相关文献。

医疗器械检测对于计算机辅助干预至关重要，因为它将有助于外科医生更好地解释并有效地找到器械，从而获得更好的结果。本文回顾了超声引导介入治疗中的医疗仪器检测方法。本文对仪器检测方法进行了全面的回顾，其中包括传统的非数据驱动方法和数据驱动方法。本文还讨论了超声中医疗器械检测的主要临床应用，包括麻醉，活检，前列腺近距离放射治疗和心脏导管插入术，这些已在临床数据集上得到验证。最后，我们选择了几本主要出版物来总结计算机辅助干预社区的关键问题和潜在的研究方向。

基于CRF的针头检测的框图。提取并选择每个体素的特征向量，分别用于体素分类和完全连接的3D CRF。借助初始体素分类，3D CRF可以处理所选特征和分割后的体积之间的上下文相关性：

综述十

标题：A Survey on Incorporating Domain Knowledge into Deep Learning for Medical Image Analysis（域知识驱动的医学图像深度学习研究综述）
作者：Xiaozheng Xie, Shaojie Tang
链接：https://arxiv.org/abs/2004.12150

本文共梳理268篇相关文献。

尽管像CNN这样的深度学习模型在医学图像分析中取得了巨大的成功，但医学数据集的小规模仍然是该领域的主要瓶颈。为了解决这个问题，研究人员已经开始寻找超出当前可用医学数据集的外部信息。传统方法通常通过转移学习来利用自然图像中的信息。最近的工作利用医生的领域知识来创建类似于医生的培训方式，模仿其诊断模式或专注于他们特别关注的特征或领域的网络。本文总结了将医学领域知识整合到用于各种任务的深度学习模型中的最新进展，例如疾病诊断，病变，器官和异常检测，病变和器官分割。对于每个任务，本文系统地对已使用的不同种类的医学领域知识及其相应的集成方法进行分类。

信息分类方法和疾病诊断方法；病变，器官和异常检测；病变和器官分割：

综述十一

标题：A Review on End-To-End Methods for Brain Tumor Segmentation and Overall Survival Prediction（脑肿瘤的端到端分割和总体生存预测方法综述）
作者：Snehal Rajput, Mehul S Raval
链接：https://arxiv.org/abs/2006.01632

本文共梳理39篇相关文献。

脑肿瘤分割旨在从健康的脑组织中区分出肿瘤组织。肿瘤组织包括坏死，肿瘤周围水肿和活动性肿瘤。相反，健康的脑组织包括白质，灰质和脑脊液。基于MRI的脑肿瘤分割研究正受到越来越多的关注。1.它不像X射线或计算机断层扫描成像一样照射电离辐射。2.生成内部人体结构的详细图片。MRI扫描输入到基于深度学习的方法中，这些方法可用于自动脑肿瘤分割。来自分段的特征被馈送到预测患者的整体存活的分类器。本文的目的是对涵盖脑肿瘤分割和总体生存预测的最新技术进行全面概述。

BTS和OS预测的端到端方法的示意图：

综述十二

标题：Machine learning for COVID-19 detection and prognostication using chest radiographs and CT scans: a systematic methodological review（利用胸片和CT扫描进行冠状病毒检测和预测的机器学习：一项系统方法学综述）
作者：Michael Roberts, Carola-Bibiane Schönlieb (on behalf of the AIX-COVNET collaboration)
链接：https://arxiv.org/abs/2008.06388

本文共梳理108篇相关文献。

机器学习方法为根据护理标准胸部X光片（CXR）和计算机断层扫描（CT）图像快速，准确地检测和预测COVID-19提供了广阔的前景。本文通过OVID搜索EMBASE，通过PubMed检索MEDLINE，bioRxiv，medRxiv和arXiv，以查找从2020年1月1日至2020年10月3日上载的已发表论文和预印本，其中描述了用于诊断或预测COVID-来自CXR或CT图像的19。审查发现，由于方法论上的缺陷和/或潜在的偏见，没有一个模型可以用于临床。鉴于迫切需要验证的COVID-19模型，因此这是一个主要弱点。为了解决这个问题，本文提出了许多建议，如果遵循这些建议，将能很好地解决这些问题以及提供更高质量的模型开发。

综述十三

标题：A Review on Deep Learning Techniques for the Diagnosis of Novel Coronavirus (COVID-19)（新型冠状病毒(冠状病毒)诊断的深度学习技术综述）
作者：Md. Milon Islam, Jia Zeng
链接：https://arxiv.org/abs/2008.04815

本文共梳理148篇相关文献。

新型冠状病毒（COVID-19）爆发已在世界范围内引发了灾难性疾病，并且已成为过去一百年来最严重的疾病之一。深度学习技术已证明是临床医生用于自动诊断COVID-19的武器库中的强大工具。本文旨在概述基于深度学习技术的最新开发的系统，该系统使用诸如计算机断层扫描（CT）和X射线等不同的医学成像模式。这篇综述专门讨论了使用深度学习技术为COVID-19诊断开发的系统，并提供了对用于训练这些网络的知名数据集的见解。本文旨在为专家（医学或其他方面）和技术人员提供有关深度学习技术在这方面的使用方式的新见解，以及它们如何在对抗COVID-19爆发中进一步发挥作用。

基于深度学习的COVID-19诊断系统的一般流程：

综述十四

标题：A Comprehensive Review for MRF and CRF Approaches in Pathology Image Analysis（病理图像分析中MRF和CRF方法综述）
作者：Chen Li, Hong Zhang
链接：https://arxiv.org/abs/2009.13721

本文共梳理132篇相关文献。

病理图像分析是多种疾病临床诊断的重要程序。为了提高诊断的准确性和客观性，如今提出了越来越多的智能系统。在这些方法中，随机场模型在提高调查性能中起着不可或缺的作用。在这篇综述中介绍了基于马尔可夫随机场（MRF）和条件随机场（CRF）的病理图像分析的全面概述，这是两种流行的随机场模型。

使用MaRACel模型和ESD进行Gleason分级的自动腺体分割流程图：

综述十五

标题:Medical Image Segmentation Using Deep Learning: A Survey（基于深度学习的医学图像分割研究综述）
作者：Tao Lei, Asoke K. Nandi
链接：https://arxiv.org/abs/2009.13120

本文共梳理162篇相关文献。

本文提出了使用深度学习技术的医学图像分割的综合调查。本文做出了两个原创性贡献。首先，与传统的将医学图像分割的深度学习文献直接分为许多组并针对每个组详细介绍的传统综述相比，本文根据从粗糙到精细的多层次结构对当前流行的文献进行分类。重点关注有监督和弱监督的学习方法，不包括无监督的方法，因为它们已在许多旧调查中引入，并且目前还不流行。对于有监督的学习方法，本文从三个方面分析文献：骨干网的选择，网络块的设计以及损失功能的改进。对于弱监督学习方法，本文分别根据数据扩充，迁移学习和交互式分段来研究文献。

V-Net架构：

综述十六

标题：A Survey on Deep Learning and Explainability for Automatic Image-based Medical Report Generation（基于图像的医学报告自动生成的深度学习和可解释性研究综述）
作者：Pablo Messina, Daniel Capurro
链接：https://arxiv.org/abs/2010.10563

本文共梳理159篇相关文献。

每年，医生都面临着患者对基于图像的诊断的日益增长的需求，这一问题可以通过最近的人工智能方法来解决。在这种情况下，本文调查了从医学图像自动生成报告的工作，重点是使用深度神经网络的方法，涉及以下方面：（1）数据集，（2）体系结构设计，（3）可解释性和（4） 评估指标。本文的调查确定了有趣的发展，但也存在挑战。其中，当前对生成的报告的评估特别薄弱，因为它主要依赖于传统的自然语言处理（NLP）度量标准，该度量标准不能准确地反映医学上的正确性。

综述十七

标题：High-level Prior-based Loss Functions for Medical Image Segmentation: A  Survey（基于高层先验损失函数的医学图像分割综述）
作者：Rosana El Jurdia,  Fahed Abdallah
链接：https://arxiv.org/abs/2011.08018

如今，深度卷积神经网络（CNN）已经证明了在各种成像方式和任务之间进行监督医学图像分割的最新技术性能。尽管取得了早期的成功，但分割网络仍可能会产生解剖学异常的分割，在对象边界附近出现孔洞或不准确。为了减轻这种影响，最近的研究工作集中在合并空间信息或先验知识以加强解剖学上合理的分割。本文将重点放在损失函数级别的高优先级，根据先验的性质对文章进行分类：对象形状，大小，拓扑和区域间约束。本文重点介绍了当前方法的优势和局限性，讨论了与基于先验损失的设计和整合以及优化策略相关的挑战，并提出了未来的研究方向。

可以从拓扑先验（a），区域间先验（b）中受益的目标细分对象的示例：

综述十八

标题：Deep Learning in Computer-Aided Diagnosis and Treatment of Tumors: A Survey（计算机辅助肿瘤诊疗中的深度学习研究综述）
作者：Dan Zhao, Zhigang Fu
链接：https://arxiv.org/abs/2011.00940

本文共梳理104篇相关文献。

肿瘤的计算机辅助诊断和治疗是近年来深度学习的热门话题，它构成了一系列医学任务，例如检测肿瘤标志物，肿瘤的轮廓，肿瘤的亚型和分期，预测治疗效果，以及药物开发。同时，在主流任务场景中产生了一些具有精确定位和出色性能的深度学习模型。因此，本文从任务导向的角度介绍深度学习方法，主要侧重于医疗任务的改进。然后总结了肿瘤诊断和治疗四个阶段的最新进展，分别是体外诊断（IVD），影像学诊断（ID），病理学诊断（PD）和治疗计划（TP）。根据每个阶段的特定数据类型和医疗任务，本文介绍了深度学习在肿瘤计算机辅助诊断和治疗中的应用并分析了其中的出色著作。

下图为CNN的结构：

综述十九

标题：Multiple Sclerosis Lesion Segmentation -- A Survey of Supervised  CNN-Based Methods（多发性硬化病变分割--基于有监督CNN的方法综述）
作者：Huahong Zhang,Ipek Oguz
链接：https://arxiv.org/abs/2012.08317

本文共梳理93篇相关文献。由范德堡大学学者发布

病变分割是对多发性硬化症患者的MRI扫描进行定量分析的一项核心任务。深度学习技术在各种医学图像分析应用程序中的最新成功使人们对该挑战性问题重新产生了兴趣，并引发了新算法开发的热潮。本文研究了基于监督的CNN的MS病变分割方法，将这些评论的作品分解为它们的算法组成部分，并分别进行讨论。

综述二十

标题：3D Bounding Box Detection in Volumetric Medical Image Data: A Systematic  Literature Review（体医学图像数据中三维包围盒检测的系统文献综述）
作者：Daria Kern,Andre Mastmeyer
链接：https://arxiv.org/abs/2012.05745

本文共梳理了68篇相关文文献。由阿伦应用技术大学学者发布

本文讨论了体积医学图像数据中3D边界框检测的当前方法和趋势，并比较了2D和3D实现。本文介绍了多种用于定位解剖结构的方法，结果表明，大多数研究最近都集中在深度学习方法上，例如卷积神经网络与具有手动特征工程的方法，例如随机回归森林。

下图为BB墙（6个不透明方块）：

组装切片以形成长方体BB时的二维检测问题：

综述二十一

标题：Learning-Based Algorithms for Vessel Tracking: A Review（基于学习的血管跟踪算法综述）
作者：Dengqiang Jia,Xiahai Zhuang
链接：https://arxiv.org/abs/2012.08929

开发有效的血管跟踪算法对于基于影像的血管疾病诊断和治疗至关重要。血管跟踪旨在解决识别问题，例如关键（种子）点检测，中心线提取和血管分割。已经开发了广泛的图像处理技术来克服血管追踪的问题，血管追踪的问题主要归因于血管的复杂形态和血管造影的图像特征。本文介绍了有关血管跟踪方法的文献综述，重点是基于机器学习的方法。

使用常规机器学习方法在监督训练下进行视网膜血管分割的示意图：

以上是对2020年发布的医学影像方向的综述论文的总结梳理，如有遗漏和不足之处，欢迎大家在评论区补充建议。在下篇，我们将对2020年目标跟踪方向的综述论文进行梳理。