组织病理学的生存模型综述_whole slide image survey

使用影响图片数据预测患者结果的机器学习技术

组织病理学图像的机器学习算法正变得越来越复杂。从检测和分类细胞和组织，到预测生物标志物和患者预后。任务的复杂程度依赖于病理学家对组织中特定特征的注释。但生物标记物和结果更为复杂。算法必须在没有任何组织的区域或其外观特征是重要的先验知识的情况下解码大型的整个图像图像。

使用癌症分期，分子特征或临床变量已经可以完成风险分层。然而，改善预后见解是研究的活跃领域。预后指的是患者接受标准治疗后可能发生的结果，例如患者肿瘤复发，发生远处转移或死亡的可能性。

无论目标是什么，创建这种算法的挑战都是相似的。 H＆E整个图像图像很大，并且组织外观也多种多样。与查找有丝分裂或分割组织类型的方法不同，病理学家无法注释组织的哪些区域与患者的预后相关-至少没有很高的确定性。

肿瘤分级是衡量细胞外观的指标，但并不总是衡量预后的良好指标。病理学家对分级的观察也具有很高的观察者间差异。

结果预测模型的目标是根据风险对患者进行分层。本文将概述使用深度学习的组织病理学图像结果预测模型的关键组成部分。我将概述为模型选择图像切片的策略，用于生存模型优化的损失函数选项，用于汇总图像切片以形成整个图像的预测的技术以及一些有趣的模型扩展。

选择图像切片

在10亿像素的完整图像上训练深度学习模型的第一个挑战是，图像太大，无法在GPU上容纳，这使得端到端的训练不可能。患者级生存时间适用于整个图像(或多个图像)。虽然病理学家可以在载玻片上标注肿瘤区域，但他们不能准确地识别哪些切片对模型有用——这是模型的工作。一些研究需要病理学家对肿瘤区域进行注释，而深度学习模型只使用这些区域。其他人训练一个CNN模型来区分肿瘤和非肿瘤，然后只使用肿瘤区域作为生存模型。还有一些包括模型中的所有组织区域。本节概述这些策略。

随机的切片

Zhu等人让病理学家对每个肿瘤内的图像区域进行注释。然后，他们从每个ROI中随机抽取一个大的切片，训练一个CNN生存模型[Zhu2016]。Wulczyn等人也随机采样贴片来训练他们的模型[Wulczyn2020]。

预测切片

其他方法识别最有预测性的切片，而不是随机的切片样本。Courtiol等人训练了CNN来预测每个图像切片的风险[Courtiol2019]。然后，该模型为每个患者选择得分最高和最低的切片来训练最终的生存模型。

检查最高和最低的生存切片是特别有见地的。Courtiol等人发现生存期较差的斑块主要位于基质区域，并且病理学家确定了它们的共同特征。

切片聚类

在随后的工作中，Zhu等人。 在训练集中的所有图像上聚集图像切片[Zhu2017]。 然后，他们为每个群集训练了一个单独的CNN生存模型。 预测能力差的被丢弃。 其余群集模型中的功能汇总在每个群集的切片程序中。 然后，另一个生存模型使用线性生存模型将汇总的特征转换为风险预测。

Yue等人对切片的全局聚类采取了相同的方法，并分别为每个聚类训练生存模型[Yue2019]。只选取被确定为有判别性的聚类，他们计算出一个归一化的斑块预测直方图，并使用支持向量机学习聚类级别的预测。

Muhammad等人同时通过一个生存模型学习了图像切片的全局聚类，该生存模型用每个聚类中的一个图像切片代表每张图像[Muhammad2021]。

Yao等人将每个患者的图像切片聚类，使他们能够选择一个具有不同外观的切片子集[Yao2020]。

聚类图像切片也可以实现组织的空间排列。Abbet等人对图像切片进行聚类，计算每幅图像的特征向量作为聚类概率和聚类转移概率[Abbet2020]。根据这些特征，他们训练出了一个线性生存模型。这些可解释的特征确定了与较差或较好的结果相关的组织相互作用。

组织分割

其他技术将高级知识带入了模型训练中，尤其是图像中存在的组织类型。 病理学家或机器学习模型都可以将组织划分为一组类别，以便可以对每个类别进行适当建模。

Yamashita 等人 将图像切片分类为肿瘤还是非肿瘤，并选择最有可能是肿瘤的100个切片[Yamashita2021]。 然后仅在这些切片上训练他们的生存模型。

克利莫夫（Klimov）等人。 还训练了CNN模型将图像分割成组织类别。 癌症和间质斑块用于训练CNN以预测转移风险[Klimov2021]。

更广泛的分割任务也有助于生存预测。 凯瑟等。 分割了9种组织类型，并为每种组织训练了生存模型[Kather2019]。 他们选择了具有较高危险比的那些，并在结合CNN功能时按此比率对其进行加权。

深度基质评分作为组织类型特征加权总和计算，最能预测患者预后[Kather2019]

另外，组织分割可以用来计算更多可解释的特征，用于生存预测。Wang等人识别了淋巴结区域和肿瘤区域，然后根据两个组织区域的比例预测患者的风险[Wang2021]。

组织分割可以让模型只关注特定的组织类型。Bhargava等人计算了手工制作的肿瘤间质特征，以捕获其形态[Bhargava2020]。其特征包括基质的结构、核的连通性、核的形状和方向。这个特征集使他们能够成功地预测非裔美国人的结果;这些特征对白种人的预后预测能力较低。可解释的特征是理解他们的模型的关键，并强调了基质形态的重要性。

指标和损失函数

上一节讨论了如何选择用于建模的图像切片。下一个挑战是为事件发生时间数据创建一个模型，其中一些患者没有观察到事件。它不像二进制分类那么简单。到研究结束时患者可能尚未死亡，或者在研究过程中可能失去了随访的机会。这些观察称为 right-censored。

让我们将Ti定义为患者i的事件发生时间，将Ei定义为事件度量。如果Ei为1，则事件(例如死亡)发生在时间Ti。如果Ei为0，那么Ti是最后一次与患者接触的时间-他们是right-censored。

Cox风险比例

最常见的生存建模方法是Cox比例风险(CPH)模型。

我们将生存函数定义为t时刻患者生存的比例:

则在时间t的瞬时死亡概率为

CPH函数对一组协变量x的效果进行建模：

其中λ₀（t）是基准风险函数，h（x）是风险函数。在线性CPH模型中，风险函数为hᵦ（x）=βᵀx，在给出这些协变量的情况下，可以预测特定患者的相对风险。通过最大化可能性（或等效地，部分对数可能性）来完成此类模型的训练。

一些将生存模型应用于组织学的早期工作使用手工制作的特征作为协变量。深度学习模型通过应用一组非线性运算来使用相同的公式，以针对一组网络权重产生输出hᵩ（x）。

深度生存模型的首次尝试使用了专家选择的少量功能，以根据临床变量预测心脏病发作的风险，并根据基因和蛋白质表达预测乳腺癌的风险[Katzman2018]。为了将此模型应用于组织学图像，将CPH损失功能放置在CNN的顶部。

CPH模型的缺点之一是它不可分离。在模型训练的每次迭代期间，通过比较当前批次中患者的相对风险来估计其值。

生存损失的替代

对于CPH丢失，有几种替代方法仍然可以保留生存数据的审查性质。 Meier等人实验了基于一致性的Uno损失，以及将右偏态和失稳生存数据与非参数测试进行比较的logrank损失[Meier2020]。他们比较了CPH损失和一个二分类模型。所有三个风险评分形成了比二元分类器更好的风险热图。Uno和logrank在数量上优于CPH。

另一种利用生存时间和审查观测的方法是将数据转换为多任务模型[Li2016, Fotso2018, Vale-Silva2020]。时间轴被分成多个间隔，每个间隔应用一个二元分类器来预测患者是否存活到那个时间点。通常，会添加一些额外的约束，以确保对特定患者的预测在时间间隔内不会增加和平稳。其他离散时间生存模型已经被提出用于数据的其他形式[Gensheimer2019, Zhong2019a]。

Wulczyn等人比较了c指数的指数下界CPH和使用交叉熵的多任务分类，发现后者的效果最好[Wulczyn2020]。

Muhammad发现，将CPH缺失与二值分类术语相结合，可以更好地将患者划分为高风险和低风险患者，并且极大地改善了测试集的结果[Muhammad2021]。

Shirazi等人采用了相关的方法，将时间轴分为4类:0-6个月、6-12个月、12-24个月和>24个月[Shirazi2020]。他们的模型在治疗胶质母细胞瘤方面取得了巨大的成功，但也显示了对整个图像图像进行训练的一些挑战。每个患者的生存时间应用于玻片中的每个切片。

从切片到图像

无论选择何种损失函数，以及选择何种图像切片进行建模，它们都必须组合成对患者的单一风险预测。最简单的方法是独立地训练一个模型的图像切片，并对每个患者的所有切片产生平均分数。然而，在最终预测之前整合切片特征的模型通常会被发现更优。

本节将概述一些在整个图像的生存模型中使用的弱监督学习方法。可以采用其他监督能力较弱或多实例学习的方法。

独立的切片

对整个图像图像最简单的方法是独立地在图像切片上训练模型。Meier等人对来自组织微阵列的160 × 160像素图像块训练CNN，同时对IHC和H&E进行实验[Meier2020]。Shirazi等人也独立地对切片进行训练，但对切片预测进行了多数投票[Shirazi2020]。

切片功能聚合

Wulczyn等人并没有聚合**切片预测，而是聚合了切片特征[Wulczyn2020]。在应用生存模型之前，他们计算了每个病人所有补丁上每个特征的平均值。

Yao等人首先对每个患者的图像贴片进行聚类，然后将CNN应用到每个贴片上，并使用注意模型在集群中聚合[Yao2020]。自注意机制为每个特征向量学习一个权值，并计算一个加权和。他们在上面应用了一个完全连接的层，然后是生存模型。

作为处理同一张图片中的多个斑块的另一种方法，Bychkov等人将递归神经网络应用于从组织微阵列核心图像斑块中提取的CNN特征[Bychkov2018]。

其他模型的扩展

对于上述生存建模方法还有多种扩展。

以上用于整个图像的应用程序都在某种程度上使用了CNN来建模图像。Chen等人也使用了图卷积网络，通过连接核形成图来提取拓扑结构[Chen2020]。Li等人用图形CNN建模组织拓扑[Li2018]。

Lu等人关注的是细胞形态，而不是组织拓扑结构[Lu2020]。他们开发了一种细胞多样性的描述符，并发现它可以预测患者的预后。

多通道模型

其他模式如临床数据、基因组学和蛋白质组学也可用于生存模型。Vale-Silva等人训练了一个融合多种数据模式的模型，但发现与只使用临床特征的模型相比，组织学并没有改善该模型[Vale-Silva2020]。Zhong等人也研究了成像和基因表达特征[Zhong2019b]。他们发现，在基因表达的条件下，组织学特征对预后的影响有限;然而，它们的图像特征仅限于手工制作的形态学特征。

Hao等人还试验了整个图像和基因组数据的组合，发现该模型优于仅使用单一模式的模型[Hao2020]。Chen等人也得出了类似的结论[Chen2020]。他们测试了多种建模策略:基因组特征和整个图像，CNN和图表CNN模型的组织学。

目前的共识似乎是，以组织学为基础的特征可以促进使用基因组或临床变量的生存模式。然而，成功可能取决于所使用的图像特征、模型类型和数据集，以及其他因素。

Pan-Cancer建模

生存模式也同时适用于多种类型的癌症。wulczynn等人训练了10种癌症类型的生存模型，并评估了他们的模型在每种癌症类型中的预测能力[Wulczyn2020]。Vale-Silva等人训练了横跨33种癌症类型的泛癌症和多模态模型[Vale-Silva2020]。

总结和建议

上面的一些方法使用了一个从零开始训练的小CNN。另一些则将迁移学习应用于更大的CNN架构，如VGG、ResNet或googlenet。如果有足够的训练数据和计算能力，较大的架构通常更优越。

以上讨论的建模方法都捕捉了肿瘤形态学的不同视角。我还没有在最佳方法上达成共识。每一个对影响患者结果的因素都提供了不同的见解。

从整个图像中建模患者的结果比弱监督学习要复杂得多。解释影响结果好坏的因素对于提高我们对癌症的认识也至关重要。

可解释的模型已经揭示了一些重要的见解，而消除组织类型的歧义是成功的关键。组织类型面积比[Wang2021]和连通性[Abbet2020]会影响最终的预测结果。与肿瘤本身相比，肿瘤内基质的形态可能是更强的预后指标[Beck2011，Bhargava2020]。

Bhargava等人甚至表明，在一组患者身上成功的建模方法可能在另一组患者身上行不通[Bhargava2020]。虽然这确定了一个成功的生存模型的机会，它也证明了评估模型概括性的重要性。

在开发新模型时，了解哪些因素已经与所研究的癌症类型的结果相关可能是至关重要的。

另外，对整个图像应用弱监督模型可能会发现尚未与预后相关的组织属性。但是，要使一个成功的模型转化为新的见解，一些解释方法是必不可少的。

适应生存数据正确检查性质的损失函数的性能优于单个二进制分类器。但是，结合了多个二进制分类器或生存损失与二进制分类器的多任务方法可能会产生更好的风险分层。。

生存建模的新前沿包括多模态和泛癌症方法。

目前模型的最大局限性可能是训练数据量太小。随着向数字病理学的过渡的进展和新的合作的建立，更大的训练集将变得可用。当数据隐私是一个问题时，联邦学习可以处理位于不同中心的数据集[Andreux2020]。

基于组织学图像的预后模型刚刚开始显示其潜力。但它可能需要更大的数据集，才能在这些10亿像素的图像中找到最具有预测性的模式。

引用

以下是上面提到所有论文的名称，需要的请自行搜索

[Abbet2020] C. Abbet, I. Zlobec, B. Bozorgtabar, J.P. Thiran, Divide-and-Rule: Self-Supervised Learning for Survival Analysis in Colorectal Cancer (2020), International Conference on Medical Image Computing and Computer-Assisted Intervention

[Andreux2020] M. Andreux, A. Manoel, R. Menuet, C. Saillard, C. Simpson, Federated Survival Analysis with Discrete-Time Cox Models (2020), arXiv preprint arXiv:2006.08997

[Beck2011] A.H. Beck, A.R. Sangoi, S. Leung, R.J. Marinelli, T.O. Nielsen, M.J. Van De Vijver, R.B. West, M. Van De Rijn, D. Koller, Systematic analysis of breast cancer morphology uncovers stromal features associated with survival (2011), Science Translational Medicine

[Bhargava2020] H.K. Bhargava, P. Leo, R. Elliott, A. Janowczyk, J. Whitney, S. Gupta, P. Fu, K. Yamoah, F. Khani, B.D. Robinson, T.R. Rebbeck, Computationally derived image signature of stromal morphology is prognostic of prostate cancer recurrence following prostatectomy in African American patients (2020), Clinical Cancer Research

[Bychkov2018] D. Bychkov, N. Linder, R. Turkki, S. Nordling, P.E. Kovanen, C. Verrill, M. Walliander, M. Lundin, C. Haglund, J. Lundin, Deep learning based tissue analysis predicts outcome in colorectal cancer (2018), Scientific Reports

[Chen2020] R.J. Chen, M.Y. Lu, J. Wang, D.F.K. Williamson, S.J. Rodig, N.I. Linderman, F. Mahmood, Pathomic Fusion: An Integrated Framework for Fusing Histopathology and Genomic Features for Cancer Diagnosis and Prognosis (2020), IEEE Transactions on Medical Imaging

[Courtiol2019] P. Courtiol, C. Maussion, M. Moarii, E. Pronier, S. Pilcer, M. Sefta, P. Manceron, S. Toldo, M. Zaslavskiy, N. Le Stang, N. Girard, Deep learning-based classification of mesothelioma improves prediction of patient outcome (2019), Nature Medicine

[Fotso2018] S. Fotso, Deep neural networks for survival analysis based on a multi-task framework (2018), arXiv preprint arXiv:1801.05512

[Gensheimer2019] M.F. Gensheimer, B. Narasimhan, A scalable discrete-time survival model for neural networks (2019), PeerJ

[Hao2020] J. Hao, S.C. Kosaraju, N.Z. Tsaku, D.H. Song, M. Kang, PAGE-Net: Interpretable and Integrative Deep Learning for Survival Analysis Using Histopathological Images and Genomic Data (2020), Biocomputing

[Kather2019] J.N. Kather, J. Krisam, P. Charoentong, T. Luedde, E. Herpel, C.A. Weis, T. Gaiser, A. Marx, N.A. Valous, D. Ferber, L. Jansen, Predicting survival from colorectal cancer histology slides using deep learning: A retrospective multicenter study (2019), PLoS Medicine

[Katzman2018] J.L. Katzman, U. Shaham, A. Cloninger, A. et al, DeepSurv: personalized treatment recommender system using a Cox proportional hazards deep neural network (2018), BMC Medical Research Methodology

[Klimov2021] S. Klimov, Y. Xue, A. Gertych, R. Graham, Y. Jiang, S. Bhattarai, S.J. Pandol, E.A. Rakha, M.D. Reid, R. Aneja, Predicting Metastasis Risk in Pancreatic Neuroendocrine Tumors (PanNET) using Deep Learning Image Analysis (2021), Frontiers in Oncology

[Li2016] Y. Li, J. Wang, J. Ye, C.K. Reddy, A Multi-Task Learning Formulation for Survival Analysis (2016), ACM SIGKDD International Conference on Knowledge Discovery and Data Mining

[Li2018] R. Li, J. Yao, X. Zhu, Y. Li, J. Huang, Graph CNN for Survival Analysis on Whole Slide Pathological Images (2018), International Conference on Medical Image Computing and Computer-Assisted Intervention

[Lu2020] C. Lu, K. Bera, X. Wang, P. Prasanna, J. Xu, A. Janowczyk, N. Beig, M. Yang, P. Fu, J. Lewis, H. Choi, A prognostic model for overall survival of patients with early-stage non-small cell lung cancer: a multicentre, retrospective study (2020), The Lancet Digital Health

[Meier2020] A. Meier, K. Nekolla, L.C. Hewitt, S. Earle, T. Yoshikawa, T. Oshima, Y. Miyagi, R. Huss, G. Schmidt, H.I. Grabsch, Hypothesis‐free deep survival learning applied to the tumour microenvironment in gastric cancer (2020), The Journal of Pathology: Clinical Research

[Muhammad2021] H. Muhammad, C. Xie, C.S. Sigel, M. Doukas, L. Alpert, T.J. Fuchs, EPIC-Survival: End-to-end Part Inferred Clustering for Survival Analysis, Featuring Prognostic Stratification Boosting (2021), arXiv preprint arXiv:2101.11085

[Shirazi2020] A. Z. Zadeh, E. Fornaciari, N.S. Bagherian, et al. DeepSurvNet: deep survival convolutional network for brain cancer survival rate classification based on histopathological images (2020), Medical & Biological Engineering & Computing

[Vale-Silva2020] L. Vale-Silva, K. Rohf, MultiSurv: Long-term cancer survival prediction using multimodal deep learning (2020), medRxiv 2020.08.06.20169698

[Wang2021] X. Wang, Y. Chen, Y. Gao, H. Zhang, Z. Guan, Z. Dong, Y. Zheng, J. Jiang, H. Yang, L. Wang, X. Huang, Predicting gastric cancer outcome from resected lymph node histopathology images using deep learning (2021), Nature Communications

[Wulczyn2020] E. Wulczyn, D.F. Steiner, Z. Xu, A. Sadhwani, H. Wang, I. Flament-Auvigne, C.H. Mermel, P.H. Chen, Y. Liu, M.C. Stumpe, Deep learning-based survival prediction for multiple cancer types using histopathology images (2020), PLoS One

[Yamashita2021] R. Yamashita, J. Long, A. Saleem, D.L. Rubin, J. Shen, Deep learning predicts postsurgical recurrence of hepatocellular carcinoma from digital histopathologic images (2021), Scientific reports

[Yao2020] J. Yao, X. Zhu, J. Jonnagaddala, N. Hawkins, J. Huang, Whole Slide Images based Cancer Survival Prediction using Attention Guided Deep Multiple Instance Learning Networks (2020), Medical Image Analysis

[Yue2019] X. Yue, N. Dimitriou, O. Arandjelovic, Colorectal Cancer Outcome Prediction from H&E Whole Slide Images using Machine Learning and Automatically Inferred Phenotype Profiles (2019), arXiv preprint arXiv:1902.03582

[Zhong2019a] C. Zhong, S. Tibshirani, Survival analysis as a classification problem (2019), arXiv preprint arXiv:1909.11171

[Zhong2019b] T. Zhong, M. Wu, S. Ma, Examination of independent prognostic power of gene expressions and histopathological imaging features in cancer (2019), Cancers

[Zhu2016] X. Zhu, J. Yao, J.Huang, Deep convolutional neural network for survival analysis with pathological images (2016) IEEE International Conference on Bioinformatics and Biomedicine

[Zhu2017] Y. Zhu, J. Yao, F. Zhu, J. Huang, WSISA: Making Survival Prediction from Whole Slide Histopathological Images (2017), IEEE Conference on Computer Vision and Pattern Recognition

作者：Heather Couture

deephub翻译组