Enhancing gland segmentation in colon histology images using aninstance-aware diffusion model_glas (gland segmentation) 数据集

使用实例感知扩散模型增强结肠组织学图像中的腺体分割

摘要：

在病理图像分析中，确定结肠组织学图像中的腺体形态对确定结肠癌的分级至关重要。然而，人工分割腺体是极具挑战性的，有必要开发自动分割腺体实例的方法。近年来，由于强大的噪声到图像去噪管道，扩散模型已成为计算机视觉研究的热点之一，并在图像分割领域得到了探索。本文提出了一种基于扩散模型的实例分割方法，可以实现自动gland实例分割。

首先，我们将结肠组织图像的实例分割过程建模为基于扩散模型的去噪过程。其次，为了恢复去噪过程中丢失的细节，我们使用实例感知滤波器和多尺度掩码分支来构建全局掩码，而不是只预测局部掩码。再次，为了提高目标和背景的区别，我们采用条件编码对中间特征与原始图像进行增强。为了客观地验证所提出的方法，我们在2015年MICCAI Gland Segmentation challenge (GlaS)数据集(165张图像)、结直肠癌腺癌腺(CRAG)数据集(213张图像)和RINGS数据集(1500张图像)上比较了几种最先进的深度学习模型。本文提出的方法在CRAG (Object F1 0.853±0.054,Object Dice 0.906±0.043)、GlaS Test A (Object F1 0.941±0.039,Object Dice 0.939±0.060)、GlaS Test B (Object F1 0.893±0.073,Object Dice 0.889±0.069)和RINGS数据集(Precision 0.893±0.096,Dice 0.904±0.091)上得到了显著提高的结果。实验结果表明，我们的方法显著提高了分割精度，实验结果证明了该方法的有效性。

1. 介绍

结直肠癌是世界范围内普遍存在的一种癌症。主要表现为结直肠腺癌，发生于结肠或直肠的内层，通过腺体结构的形成来鉴别[1]。这些腺体在各种器官系统的蛋白质和碳水化合物分泌中起着至关重要的作用。为了评估结直肠癌的分化，病理学家通常使用苏木精和伊红染色对腺体进行组织学检查[2]。腺体形成的程度是病理学家用来确定肿瘤分级或分化程度的关键因素。在组织学图像上准确分割腺体是评价结直肠腺癌腺体形态和判断其恶性程度的重要方法。腺体的准确分割不仅对结直肠腺体的病理组织学切片很重要，对前列腺等其他器官的组织学切片也很重要[3]。手动标注腺体

实例是一个耗时的过程，需要高度的专业知识和奉献精神。因此，自动分割腺体实例的方法在临床实践中具有重要意义。

自动分割一直是几种基于深度学习技术的主题[4-6]。这些方法包括语义分割网络，如U-Net[7]、FCN[8]、Siamese network[9]及其变体[10-12]。也有将信息瓶颈结合起来进行检测和分割的方法[13-15]。这项工作的另一个方面涉及两阶段实例分割方法，其中包括Mask R-CNN[16]和BlendMask[17]等方法。

这些技术主要集成两个子网络，以顺序的方式进行目标检测和分割[18]。然而，这些方法在捕捉不同形状的细胞位置和区分接近的腺体边界方面可能会遇到挑战[10,19]。为了克服这些限制，我们的目标是进行腺体实例分割，以准确识别目标位置，防止背景组织的错误分类。

图1所示。(a-b)来自CRAG数据集的示例图像。(c-d)来自GlaS数据集的示例图像。(e-f)来自RINGS数据集的示例图像。

最近，扩散模型[20]作为一种高效的生成模型[21,22]得到了广泛的应用。与氮化镓相比，它已经证明了产生卓越质量和品种的输出的能力[19,23]。此外，扩散模型也被用于其他各种任务[24]。在DiffusionDet[25]中，目标检测任务被视为图像中边界框空间内的生成任务，以有效地解决遮挡检测问题。此外，一些研究已经研究了在医学图像分割中使用扩散模型的可行性[26,27]，这些方法从有噪声的图像中生成分割图，与之前的深度学习方法相比，这些方法对分割细节的表示有所改进。这启发了我们提出一种新的腺体实例分割方法。

在本文中，我们提出了一种新的实例感知扩散模型用于gland实例分割。这些贡献总结如下:

∙我们的方法涉及将组织学图像中的腺体实例分割过程建模为使用扩散模型的去噪过程。据我们所知，这是第一个基于扩散模型的gland实例分割方法。

∙为了增强分割过程，我们采用了实例感知技术，旨在恢复在去噪过程中可能丢失的细节。具体来说，我们利用一个滤波器和一个多尺度掩码分支来构建一个全局掩码，并细化分割的细节。

∙为了增强目标和背景之间的区别，我们采用条件编码来增强原始图像编码的中间特征。该方法有效地融合了原始图像的丰富信息，从而提高了感兴趣对象与周围背景的区分能力。

我们提出的框架在2015年MICCAI Gland Segmentation (GlaS) Challenge数据集[28,29]、结直肠癌腺癌腺(CRAG)数据集[30-32]和RINGS数据集[3]上进行了训练和测试(如图1所示)，实验结果证明了该方法的有效性。

2. 相关的工作

近年来，人们对基于深度学习的腺体组织学图像分割方法进行了大量的研究，并取得了显著的进展。此外，扩散模型已经成为一种很有前途的深度学习技术。在随后的章节中，我们将分别讨论腺体分割方法和扩散模型，重点介绍它们各自对该领域的贡献。

2.1. 腺体分割

组织病理学中大多数传统的腺体分割方法依赖于分水岭算法、纹理、形态学、腺体结构和简单的阈值分割技术。然而，近年来，在使用深度学习方法进行腺体分割方面取得了重大进展[4,14]。这些工作大多使用GlaS和CRAG数据集。全卷积网络(Full Convolutional Network, FCN)[8]和UNet[7]是其中最具代表性的网络。

继FCN被用于语义分割之后，许多基于FCN的腺体分割网络被提出。深度卷积神经网络(cnn)也被研究用于腺体分割。U-Net是一种有效的分割网络，它由两条路径组成:一条用于集中信息的收缩路径和一条用于精确定位的扩展路径。

其他方法包括SegNet[33]，它是一种基于编码器-解码器的分割网络，使用编码器对数据进行编码，使用解码器实现非线性采样。这项工作获得了对象F1的结果(CRAG 0.736，GlaS  A0.858，测试B 0.753)。DCAN[34]网络可以灵活地使用上下文特征，准确地预测腺体轮廓。深度多通道神经网络从多个方面进行多通道信息融合。这项工作获得了对象F1 (CRAG 0.622，GlaS  A0.912，测试B 0.716)的结果。

腺语义分割的FCN网络采用了从粗到精的提取思想，利用预训练的网络进行细化和特征细节挖掘，实现更精确的分割。

这项工作获得了对象F1 (CRAG 0.558GlaS  A0.783，测试B 0.692)的结果。Micro-Net[35]用于分割微观图像中的目标，主要是通过使用多分辨率滤波器来处理输入图像的多分辨率。这项工作获得了对象F1(GlaS  A 0.913，测试B 0.724)的结果。多尺度全卷积网络[36]提出了一种自动化的多尺度卷积分割网络，它采用三级分类，并结合了一个高分辨率的分离分支。这项工作获得了对象F1的结果(GlaS测试A 0.914，测试B 0.850)。

DeepLab网络[37]使用金字塔模型在多个尺度上进行特征提取，并使用卷积层来扩展卷积块的视野。它采用广泛的网络化条件随机场来精确定位腺体的边界。这项工作获得了对象F1的结果(CRAG 0.648, GlaS测试A 0.862，测试B 0.764)。Rota-Net[38]采用90◦多重组等变卷积旋转，并结合分离腺体的分类方法。这项工作获得了对象F1的结果(GlaS测试A 0.920，测试B 0.824)。注意引导深度残差U-Net[11]将多级判别特征与基于注意的粗到细特征引导相结合。这项工作获得了对象F1的结果(CRAG 0.825, GlaS测试A 0.914，测试B 0.844)。MILDNet[32]使用随机变换和空间金字塔池来

通过引入原始图像实现更好的性能，并实现最小的信息损失。这项工作获得了对象F1的结果(CRAG 0.911, GlaS测试A 0.937，测试B 0.901)。

DoubleU-Net[18]在分层多尺度上学习语义特征，在混合模型中学习相似性，并在特殊腺体形态分割中实现性能提升。这项工作获得了对象F1的结果(CRAG 0.835, GlaS测试A 0.935，测试B 0.871)。GCSBA网络[39]使用多尺度机制学习上下文信息，特别关注边界问题。这项工作获得了对象F1的结果(CRAG 0.836, GlaS测试A 0.916，测试B 0.832)。其他分割各种器官病理组织图像的方法也存在，包括专门用于分割前列腺图像的RINGS算法[3]。

尽管这些方法取得了很好的结果，但由于组织病理图像的复杂性和腺体的不同形态，自动分割腺体仍然是一项具有挑战性的任务。

2.2. 扩散模型

扩散模型是一种基于马尔可夫链的生成模型，它可以将高斯分布等简单分布转化为复杂分布的样本。扩散模型可以生成高质量的图像，可以与最新的GAN方法竞争，甚至优于GAN方法[20,40]。医学领域的生成建模和判别任务已经从扩散模型的使用中看到了显著的好处。其中一个例子是Chung等人[41]的工作，他们开发了一种基于扩散模型的架构，用于重建快速扫描的MRI图像。他们的研究结果表明，所提出的模型优于以前的最先进的方法，甚至可以在训练分布之外生成高保真度的数据。Kim等[42]引入了用于图像分割任务的扩散变形模型，该模型使用了扩散模型和变形模块。

利用源图像和目标图像构建扩散模型中的潜码，在变形模块中利用获取的潜码和源图像生成畸变图像。要使扩散模型得到理想的结果，必须控制反向扩散过程。如Lyu等[43]和Xie等[44]的作品所示，在自举过程中可以应用各种约束来实现这一点。如Lyu等采用T2w MR图像调节扩散模型，SDE获取CT图像，Xie等提出了一种测量调节扩散模型，用于欠采样医学图像重建。

尽管如此，之前的研究在深度学习的腺体分割有特定的局限性和缺点。缩放和的过程

由于gland实例的形态不同，以前的方法中裁剪图像可能会导致信息丢失或失真。结果往往导致边界识别效果不佳，经常出现过分割或欠分割的情况。相反，扩散模型通过启用全局建模来解决这些问题。

它通过数据的随机游走和参数学习，对每个部分进行统一的关注，然后逐步过滤。因此，它提供了一个更全面的了解腺体形态。

3. 方法

在本节中，我们将首先提供扩散模型的简要概述。我们的方法引入了一种新的实例感知扩散模型用于腺体实例分割，该模型结合了生成去噪过程。此外，我们利用扩散模型中的原始图像特征来增强分割过程，从而获得精确和准确的分割结果。接下来，我们将介绍我们提出的方法的架构，其中包括一个图像编码器，一个图像解码器和一个掩码分支。网络架构图如图2所示。

图2所示。我们的模型的网络架构图。图像编码器由从输入图像中提取多尺度特征的主干组成。基于扩散模型的图像解码器将原始图像特征作为增强中间特征的条件。为了保留多尺度信息，我们引入了一个Mask Branch，该Branch在Fmask上运行。通过将权重从过滤器分配到Fmask的卷积应用于此，我们获得了实例掩码。

3.1. 数据

我们对三个不同的数据集进行了评估:GlaS数据集、CRAG数据集和RINGS数据集。

GlaS数据集共包含165张图像，其中85张图像分配用于训练，80张图像分配用于测试。测试集进一步分为测试A(60张图像)和测试B(20张图像)。GlaS数据集中的每张图像的尺寸为775 × 522像素，并伴随着实例分割的ground truth，以准确地突出腺体边界，以及精确的流明注释。该数据集来源于16张H&E染色的全幻灯片图像(wsi)，使用MIRAX MIDI幻灯片扫描仪以20倍放大的像素分辨率扫描。

CRAG数据集共包含213张图像，其中173张用于训练，40张用于测试。CRAG数据集中的每张图像的尺寸为1512 × 1512像素，并包含实例级地面真相注释。该数据集来自38个H&E染色的wsi，使用VL120扫描仪以20倍放大的像素分辨率扫描。

最后，RINGS数据集共包含1500张图像，其中1000张用于训练，500张用于测试。RINGS数据集中的每张图像的尺寸为1500 × 1500像素，并附有地面真值注释。此数据集来源于

150 H&E染色的wsi使用Hamamatsu NanoZoomer S210数字载玻片扫描仪扫描，像素分辨率为100倍放大。

为了解决临床数据图像中常见的显著不一致的组织外观变化的挑战，我们采用了Vahadane方法进行染色归一化[45]。该技术包括应用像素变换来增强腺体组织和残余背景之间的对比度，同时保留局部结构。通过实施染色归一化，我们的目标是提高我们的模型对组织外观变化的鲁棒性。

此外，我们在图3中提供了染色归一化前后的数据集对比图像。

Vahadane方法的目的是在实现颜色归一化的同时保持组织结构。虽然它确实有局限性，特别是在解决图像质量问题，如去除伪影和降噪方面，如图3的面板(b)和(f)所示，但这种方法仍然稳定，提供了一个有效的标准化过程，并产生了更逼真的颜色表示的图像。

此外，为了增强训练数据集并降低过拟合的风险，我们采用了各种策略。这些包括图像翻转、平移、高斯模糊、亮度变化和其他增强技术的随机组合。通过以这种方式增加数据集，我们有效地增加了它的大小，允许我们的模型从更多样化的示例中学习，并减少了过度拟合的可能性。

图3所示。(a-b) CRAG数据集上的染色归一化可视化。(c-d) GlaS数据集上的染色归一化可视化。(e-f) RINGS数据集上的染色归一化可视化。上面一行为原始图像，下面一行为相应的归一化图像。

3.2. 背景

扩散模型是一种新的生成模型，在生成图像方面取得了很好的效果，经过训练后可以生成接近训练数据分布的高质量图像。我们根据扩散模型设计了我们的模型[20,46]，该模型通常使用两条马尔可夫链，分为两个阶段：前向扩散阶段和后向扩散阶段。网络架构图如图 4 所示。扩散模型主要是通过 T 步时间步长对训练数据进行训练。在前向扩散阶段，高斯噪声被逐渐添加到输入图像中，直到图像被完全破坏，成为具有高斯分布的完全噪声图像。扩散模型的组成部分包括一个称为声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】