【BraTS】Brain Tumor Segmentation 脑部肿瘤分割1（数据篇）_脑肿瘤分割

一、BraTS比赛数据概要

BraTS全名是Brain Tumor Segmentation ，即脑部肿瘤分割。世界卫生组织（WHO）按细胞来源和行为对脑肿瘤进行分类：

• 非恶性脑肿瘤被分类为I级或II级，也被称为低度（low grade, LG）肿瘤，LG肿瘤不会严重影响患者的预期寿命
• 恶性肿瘤被分类为III级或IV级，被称为高度（high grade, HG），与HG肿瘤的最大预期寿命只有两年不同

从神经影像学方法对脑肿瘤进行分割是改善疾病诊断，治疗计划，监测和临床试验的关键步骤。需要可靠的脑肿瘤分割来检测肿瘤的位置和范围。

然而，脑肿瘤的准确分割极具挑战性，这些肿瘤几乎可以以任何形状和大小出现在不同的位置。另外，它们通常对比度差，并且肿瘤的强度值可能与健康的脑组织的强度值重叠。

因此，将健康组织与肿瘤区分开来并不容易。解决此问题的常用方法是整合从多种MR模态中获取的信息，模态包括：

• T1加权MRI（T1），
• 加造影剂的T1加权MRI（T1c）
• T2加权MRI（T2）
• 液体衰减反转恢复（FLAIR）MRI。

根据所需的人机交互程度，脑肿瘤分割方法主要分为3类：

• 手动
• 半自动
• 全自动分割。

在MR图像中手动分割脑肿瘤是一项非常艰巨的任务，既耗时又受评估者差异的影响。因此，在过去的二十年中，可靠的脑肿瘤自动和半自动分割技术引起了人们的广泛关注，并产生了数百种不同的算法。

这些算法中有许多是在私有数据集上实现和评估的。私有数据集在输入数据（使用的成像方式），脑肿瘤的类型和疾病状态（治疗前或治疗后）方面差异很大,以至于很难比较所提出的分割方法的性能。

为了解决这个问题，自2012年以来，医学影像计算和计算机辅助干预协会（MICCAI）发起了多模态脑肿瘤影像分割挑战（BRATS）。BraTS数据库包含大量的多模态脑部扫描，可公开获取，并用于开发和测试最新的脑肿瘤分割算法。

BraTS 比赛官方网址：http://www.braintumorsegmentation.org/
BraTS 2015下载地址：https://aistudio.baidu.com/aistudio/datasetdetail/26367

下面，我们就可以从上面的网址中，下载到我们需要的脑肿瘤数据了。若要查看下载下来的图像，我们可以使用标注软件ITK-SNAP进行查看。其中每一个病例的文件夹下面，都是由这5个文件组成的，（除测试集外，测试集无标签文件），分别是：

• XXX.Flair 液体衰减反转恢复MRI
• XXX.T1 加权MRI
• XXX.T1c 加造影剂的T1加权MRI
• XXX.T2 T2加权MRI
• XXX.OT label,标签内容0,1,2,3,4 背景+4类

文件格式都是.mha，直接拖动mha文件到ITK-SNAP进行查看，记得需要拖动模态文件和OT标签文件，如下展示：

你可能会比较好奇其中的五颜六色的标签，各个颜色代表不同的标签，后面我们会对标签进行数据可视化处理，便于处理。这里可以先看如下描述：

注释：带有手动注释的三种成像模式（A = FLAIR，B = T2，C = T1c）上的肿瘤外观，以及右侧的三个标签的融合（D）。从左到右，分别是：

• 全肿瘤（黄色）
• 肿瘤核心（红色）
• 增强肿瘤核心（浅蓝色）
• 核心的囊性坏死成分（绿色））

二、图层图像处理

医学影像中的数据，大多就那么几个行业标准的数据形式。比如dicom、nii、npz、mhd等其他格式，尤其是以上述几种数据格式为多。

有些是可以存储二维数据的，例如x光，有些是存储三维数据的，例如ct、mri等断层扫描数据。当然在处理这些数据的时候，python也有专门的第三方库。

• pydicom是专门处理dicom的库
• SimpleITK可以处理nii、npz、mhd这些三维数组

更多关于医学数据处理的部分，比如图像转换等等，可以参考这里：nii、npz、npy、dcm 的数据处理，及多目标分割处理汇总

本数据的处理，主要遵循下面步骤：

• 读取mhd文件
• 逐层获取单层标签图像
• 查看会发现很多像素值是超过255 的。所以直接保存图像就会产生截断，使得图像偏白，像素丢失。
• 先归一化到0-255，再保存
• 保持为图像

完整代码如下:

import random
from PIL import Image
import SimpleITK as sitk

def load_mha_as_array(img_name):
    """
    get the numpy array of brain mha image
    :param img_name: absolute directory of 3D mha images
    :return:
        nda  type: numpy    size: 150 * 240 * 240
    """
    img = sitk.ReadImage(img_name)
    nda = sitk.GetArrayFromImage(img)
    return nda

def get_subject():
    # **************** get file ****************
    path = r'F:\data_sample\HGG\brats_2013_pat0001_1\VSD.Brain.XX.O.MR_Flair.54512.mha'

    img = load_mha_as_array(path)
    print(img.shape)
    for i in range(img.shape[0]):
        oneImg_arr = img[i]
        print(oneImg_arr.shape)
        
        print(set(oneImg_arr[oneImg_arr != 0]))
        np.savetxt(r"img.txt", oneImg_arr, delimiter=',', fmt='%5s')

        max_pix = np.amax(oneImg_arr)
        label_train = oneImg_arr / max_pix  # 归一化
        image = Image.fromarray(label_train * 255)

        image = image.convert("L")
        image.save("./data/Flair/" + "image_" + str(i) + ".png")

if __name__=='__main__':
    get_subject()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

保存好图像的截图如下：

同理，标签部分的保存同样如此，后面就是

三、标注标签处理

标签文件就是那个带OT字样的，这里记录了断层扫描每一层的类别标记情况。根据我们从前面用ITK_SNAP软件可以猜想下，这个标签文件记录的应该是个三维数据，层数据x每一层的宽x每一层的高。

下面把这个标签文件单独处理下，直观的看看是什么样子的，代码部分和对上面图像处理的差不多，主要步骤如下：

• 读取mhd文件
• 逐层获取单层标签图像
• 查看发现标签数组是0、1、2、3、4，不利于显示
• 归一化，从0-4，拉伸到0-255（这里仅仅作为展示方便的处理）
• 保持为图像

直接看下面代码吧：

import random
from PIL import Image
import SimpleITK as sitk
def load_mha_as_array(img_name):
    """
    get the numpy array of brain mha image
    :param img_name: absolute directory of 3D mha images
    :return:
        nda  type: numpy    size: 150 * 240 * 240
    """
    img = sitk.ReadImage(img_name)
    nda = sitk.GetArrayFromImage(img)
    return nda

def get_subject():
    """
    label   4D numpy    155 * 240 * 240
    """
    # **************** get file ****************
    path = r'F:\data_sample\HGG\brats_2013_pat0001_1\VSD.Brain_3more.XX.O.OT.54517\VSD.Brain_3more.XX.O.OT.54517.mha'

    img = load_mha_as_array(path)
    print(img.shape)
    for i in range(img.shape[0]):
        oneImg_arr = img[i]
        print(oneImg_arr.shape)
        if oneImg_arr[oneImg_arr != 0].size > 0:
            print(set(oneImg_arr[oneImg_arr != 0]))
            np.savetxt(r"img.txt", oneImg_arr, delimiter=',', fmt='%5s')

            max_pix = np.amax(oneImg_arr)
            label_train = oneImg_arr / max_pix  # 归一化
            image = Image.fromarray(label_train * 255)

            # image = Image.fromarray(oneImg_arr)
            image = image.convert("L")
            image.save("./data/ot/" + "image_" + str(i) + ".png")

if __name__=='__main__':
    get_subject()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

生成标签存储到本地的结果：

关于上述生成标签的数据处理详细部分，参考这里：nii、npz、npy、dcm 的数据处理，及多目标分割处理汇总

四、总结

对医学数据了解多了，你就会发现。医学数据的存储形式、标签存储形式几乎都是大同小异，甚至可以说就是一样的。

本文中的脑补肿瘤分割挑战赛的数据不一样的地方就是，它是多模态的，光输入数据就是4个模态，每一个模态都是一个三维的断层扫描数据。

这也就意味着，输入数据更复杂了。4个模态输入，对应预测1个输出。一般的断层数据，比如CT数据预测肺癌结节的LIDC数据，是1个三维数据，对应到1个输出，就简单了很多。

到这里，了解了一些基本的数据结构和内容，包括：

• Brats比赛的数据，是有4个模态的
• 每一个模态的大小都是155*240*240,150层240*240的断层扫描
• 4个模态预测一个分割任务，分割的目标有4个类别+1个背景
• 如何将4个模态的信息给综合利用起来？是本分割任务的重中之重，也是模型设计的出彩点

由上面的不一样，自然也就成了后面设计网络时候的创新点。思考两个问题：

• 综合各个模态的信息：如何把4个模态给并联的作为输入？
• 综合单模态上下层三维信息：如何考虑MRI的三维断层，层与层之间的联系？

本系列接下来的几篇文章，就是对上述问题进行拆解。有训练和测试的代码？关注不迷路，敬请期待。

参考文章：
1.使用多模态脑部扫描数据的自动脑肿瘤分割
2. lstm_multi_modal_UNet
3.医学影像数据集集锦