最全nnUNet保姆级使用教程！从环境配置到训练与推理（新手必看），2024年最新字节跳动厂内部超高质量大数据+Kotlin笔记

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

才疏学浅，如有错误，欢迎批评指正！！

---

nnUNet是什么？

nnU-Net是由德国癌症研究中心、海德堡大学以及海德堡大学医院研究人员(Fabian Isensee, Jens Petersen, Andre Klein)提出来的一个自适应任何新数据集的医学影像分割框架，该框架能根据给定数据集的属性自动调整所有超参数，整个过程无需人工干预。仅仅依赖于朴素的U-Net结构（就是原始U-Net）和鲁棒的训练方案，nnU-Net在六个得到公认的分割挑战中实现了最先进的性能。

• 关于nnUNet，如果你想更加深入的了解，我推荐看一下这篇博客论文解读- nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation（附实现教程）_Tina姐的博客-CSDN博客，是比较概括性的讲解，更深入的学习还是建议精读论文。

---

一、配置虚拟环境

首先，我们想实现nnUNet的使用，需要配置类似如下的环境：

• 上图所示为nnUNet的官方readme文档建议的环境配置，如果你对cuda，cudnn，torch之类的词语还不算熟悉，可以看一下我的另一篇博客用人话讲解深度学习中CUDA，cudatookit，cudnn和pytorch的关系_江江ahh的博客-CSDN博客
• 至于为什么要在虚拟环境中安装nnUNet，当我们在安装包的时候，pip install django安装一个包会附带安装数个其他关联的包。但是当我们删除这个包的时候，我们之后仅仅删除这一个包，安装时附带的其他包并不会删除。**简单来说，当我们的环境使用时间长的时候，我们的包是很难进行管理的。**所以非常建议在一个全新的虚拟环境中来完成接下来的操作！！！
• 如果你对虚拟环境还比较陌生，建议看一下这位大佬的视频安装不算完事，只有理解了虚拟环境才算真正掌握 Python 环境_哔哩哔哩_bilibili
• 当你了解虚拟环境的作用以后，可以参考我的另一篇博客来配置nnUNet所需的环境在conda虚拟环境中配置cuda+cudnn+pytorch深度学习环境（新手必看！简单可行！）_江江ahh的博客-CSDN博客_在虚拟环境中安装cuda

---

二、安装nnUNet框架

此时，你应该已经配置好了自己的虚拟环境并且可以打印出类似上图的环境版本（可以更高，但最好不要太低），注意，后续的操作均要在你激活你想要使用的那个虚拟环境的前提下进行！！！！

1.安装nnUNet

根据readme文档，这里应该有两种方案可供选择：

（1）用作标准化基线、开箱即用的分割算法或使用预训练模型进行推理:

pip install nnunet

1
2

（2）用作集成框架（这将在您的计算机上创建nnU-Net代码的副本，以便您可以根据需要对其进行修改）

你想把nnUNet的文件夹放在哪，就在哪个路径下运行这些命令！

git clone https://github.com/MIC-DKFZ/nnUNet.git
cd nnUNet
pip install -e .#最后这个点也不能忽略

1
2
3
4

对于我来说，因为我后续是要改网络代码的，所以我选择第二种方法，下面详细说明一下这三行命令都是什么意思：

git clone其实就是把人家github上的代码克隆过来，这一步其实和直接复制粘贴代码文件是一样的，总共也就1Mb

cd nnUNet不用说了，就是进入文件夹

其实这个时候就已经有一个nnUNet完整的文件夹了，里面包含这些东西：

最后pip install -e .相当于python setup.py,也就是运行上图这个setup.py文件

这个文件是用来干什么的呢？

1. 安装nnUNet需要的python包
2. 向终端添加几个新命令。这些命令用于运行整个nnU-Net pipeline。您可以从系统上的任何位置执行它们。所有nnU-Net命令都带有前缀“nnUNet_”，以便于识别。

这一步我遇到的两个问题：

（1）从github上git clone代码的时候速度慢的离谱（20kb/s），这个问题主要是github的域名在国内被限制了，网上有很多方法解决，比如下面这个网址可以参考https://www.jianshu.com/p/d58ab49ba98b/

（2）运行pip命令的时候速度很慢，这个问题导致我运行pip install -e .的时候超时报错了，同样给出解决方法的链接解决Linux，Ubuntu下使用python包管理工具pip命令安装和下载包速度很慢、失败或者connection timeout等问题_一点儿也不萌的萌萌的博客-CSDN博客_linux 下载python failed: connection timed out.

2.安装隐藏层hiddenlayer（可选）

隐藏层使nnU-net能够给出其生成的网络拓扑图（后面会细说），安装命令如下（这是一整行命令，请务必一起复制粘贴）

pip install --upgrade git+https://github.com/FabianIsensee/hiddenlayer.git@more_plotted_details#egg=hiddenlayer

1
2

这里我遇到的唯一问题就是上面说的pip命令速度太慢，也是根据上述解决方案来解决的。

---

三、数据集准备

nnUNet对于你要训练的数据是有严格要求的，这第一点就体现在我们保存数据的路径上，请初学者务必按照我下面的样式来创建相应的文件夹并存入数据！！！

​ 第一步：你现在应该有一个名为nnUNet的文件夹（上面有图），进入它，在里面创建一个名为nnUNetFrame的文件夹

​ 第二步：在nnUNetFrame文件夹中创建一个名为DATASET的文件夹，后面我们会用它来存放数据

​ 第三步：在DATASET文件夹中创建三个文件夹，它们分别是nnUNet_raw，nnUNet_preprocessed，nnUNet_trained_models

​ 第四步：进入上面第二个文件夹nnUNet_raw，创建nnUNet_cropped_data文件夹和nnUNet_raw_data文件夹，右边存放原始数据，左边存放crop以后的数据。

​ 第五步：进入右边文件夹nnUNet_raw_data，创建一个名为Task01_BrainTumour的文件夹（解释：这个Task01_BrainTumour是nnUNet的作者参加的一个十项全能竞赛的子任务名，也是我要实践的分割任务，类似的还有Task02_Heart，就是分割心脏的。如果你想分割自己的数据集，建议Task_id从500开始，这样以确保不会与nnUNet的预训练模型发生冲突（ID不能超过999））

​ 第六步：将下载好的公开数据集或者自己的数据集放在上面创建好的任务文件夹下，下面还以Task01_BrainTumour竞赛为例，解释下数据应该怎么存放和编辑：

1. 进入这个网站http://medicaldecathlon.com/.下载对应的数据集（<–网上学科议建<–），取代上面你自己创建的Task01_BrainTumour文件夹。
2. 你会发现目录是这个样子的：json文件是对三个文件夹内容的字典呈现（关乎你的训练），imagesTr是你的训练数据集，打开后你会发现很多的有序的nii.gz的训练文件，而labelsTr里时对应这个imagesTr的标签文件，同样为nii.gz。目前只能是nii.gz文件，nii文件都不行。训练阶段的imageTs文件夹先不管，其实这个文件夹出现在任何位置都可以。（解释：nnUNet使用的是五折交叉验证，并没有验证集）

---

四、设置nnUNet读取文件的路径

nnUNet是如何知道你的文件存放在哪儿呢，当然要在环境中创建一个路径，这个路径你唯一需要更改的是/nnUNet之前的路径，因为后面的路径你和我是一样的。
第一步：在home目录下按ctrl + h，显示隐藏文件
第二步：找到.bashrc文件，打开
第三步：在文档末尾添加下面三行，保存文件。

export nnUNet_raw_data_base="/home/work/nnUNet/nnUNetFrame/DATASET/nnUNet_raw"
export nnUNet_preprocessed="/home/work/nnUNet/nnUNetFrame/DATASET/nnUNet_preprocessed"
export RESULTS_FOLDER="/home/work/nnUNet/nnUNetFrame/DATASET/nnUNet_trained_models"

1
2
3
4

​ 第四步：在home下打开终端，输入source .bashrc来更新该文档

现在nnUNet已经知道怎么读取你的文件了。

---

五、数据集转换

1.数据集转换是什么，为什么要进行数据集转换？

nnUNet要求将原始数据转换成特定的格式，以便了解如何读取和解释数据。

每个分割数据集存储为单独的“任务”。命名包括任务与任务ID，即三位整数和相关联的任务名称。

比如Task001_BrainTumour的任务名称为“脑瘤”，任务ID为1。

在每个任务文件夹中，预期的结构如下：

Task001_BrainTumour/
├── dataset.json
├── imagesTr
├── (imagesTs)
└── labelsTr

1
2
3
4
5
6

图像可能具有多种模态，这对于医学图像来说尤其常见。

nnU-Net通过其后缀（文件名末尾的四位整数）识别成像模态。因此，图像文件必须遵循以下命名约定：case_identifier_XXXX.nii.gz。

这里，XXXX是模态标识符。dataset.json文件中指定了这些标识符所属的模态。

标签文件保存为case_identifier.nii.gz

此命名方案产生以下文件夹结构。用户有责任将其数据转换为这种格式！

下面是MSD的第一个任务的示例：BrainTumor。每个图像有四种模态：FLAIR（0000）、T1w（0001）、T1gd（0002）和T2w（0003）。请注意，imagesTs文件夹是可选的，不必存在。

nnUNet_raw_data_base/nnUNet_raw_data/Task001_BrainTumour/
├── dataset.json
├── imagesTr
│   ├── BRATS_001_0000.nii.gz
│   ├── BRATS_001_0001.nii.gz
│   ├── BRATS_001_0002.nii.gz
│   ├── BRATS_001_0003.nii.gz
│   ├── BRATS_002_0000.nii.gz
│   ├── BRATS_002_0001.nii.gz
│   ├── BRATS_002_0002.nii.gz
│   ├── BRATS_002_0003.nii.gz
│   ├── BRATS_003_0000.nii.gz
│   ├── BRATS_003_0001.nii.gz
│   ├── BRATS_003_0002.nii.gz
│   ├── BRATS_003_0003.nii.gz
│   ├── BRATS_004_0000.nii.gz
│   ├── BRATS_004_0001.nii.gz
│   ├── BRATS_004_0002.nii.gz
│   ├── BRATS_004_0003.nii.gz
│   ├── ...
├── imagesTs
│   ├── BRATS_485_0000.nii.gz
│   ├── BRATS_485_0001.nii.gz
│   ├── BRATS_485_0002.nii.gz
│   ├── BRATS_485_0003.nii.gz
│   ├── BRATS_486_0000.nii.gz
│   ├── BRATS_486_0001.nii.gz
│   ├── BRATS_486_0002.nii.gz
│   ├── BRATS_486_0003.nii.gz
│   ├── BRATS_487_0000.nii.gz
│   ├── BRATS_487_0001.nii.gz
│   ├── BRATS_487_0002.nii.gz
│   ├── BRATS_487_0003.nii.gz
│   ├── BRATS_488_0000.nii.gz
│   ├── BRATS_488_0001.nii.gz
│   ├── BRATS_488_0002.nii.gz
│   ├── BRATS_488_0003.nii.gz
│   ├── BRATS_489_0000.nii.gz
│   ├── BRATS_489_0001.nii.gz
│   ├── BRATS_489_0002.nii.gz
│   ├── BRATS_489_0003.nii.gz
│   ├── ...
└── labelsTr
    ├── BRATS_001.nii.gz
    ├── BRATS_002.nii.gz
    ├── BRATS_003.nii.gz
    ├── BRATS_004.nii.gz
    ├── ...

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

如果对于数据集转换这件事还是不明白，打开你的nnUNet文件夹，在/nnUNet/documentation/文件夹下找到dataset_conversion这个文件来进一步学习。

2.运行数据集转换的命令

依旧以Task01_BrainTumour为例：

nnUNet_convert_decathlon_task -i /home/work/nnUNet/nnUNetFrame/DATASET/nnUNet_raw/nnUNet_raw_data/Task01_BrainTumour

1
2

转换操作完成以后，你会发现在你的Task01_BrainTumour文件夹旁边，出现了一个Task001_BrainTumour文件夹，打开看一下，里面的格式应该和我上面展示的一样。

3.关于dataset.json文件

这个文件包含你的训练数据信息和任务信息，如果你按照我的建议下载了Task01的数据集，那里面是包含dataset.json文件的，如果你有训练自己的数据集的需求，在我的另一篇博客里会有详细的说明。

---

六、数据预处理

nnUNet_plan_and_preprocess -t 1 --verify_dataset_integrity

1
2

只需要一行命令，因为我们的Task_id是1，所以这里的数字就是1。这个过程会消耗很多的时间，速度慢的原因在于对要进行插值等各种操作。

根据nnUNet框架，三维医学图像分割的通用预处理可以分为四步，分别是数据格式的转换，裁剪crop，重采样resample以及标准化normalization。如果你想进一步学习，推荐学习这篇文章如何针对三维医学图像分割任务进行通用数据预处理：nnUNet中预处理流程总结及代码分析 - 知乎 (zhihu.com)

运行“nnUNet_plan_and_preprocess”将使用预处理数据填充文件夹。

我们将在nnUNet_preprocessed/Task001_BrainTumour中找到这条命令的输出结果。使用2D U-Net以及所有适用的3D U-Net的预处理数据创建子文件夹。它还将为2D和3D配置创建“plans”文件（结尾为.pkl）。这些文件包含生成的分割 pipeline 配置，将由nnUNetTrainer读取（见下文）。请注意，预处理的数据文件夹仅包含训练案例。测试图像没有经过预处理。测试集的预处理将会在推理过程中实时进行。

另外，`–verify_dataset_integrity”应至少在给定数据集上首次运行命令时运行。这将对数据集执行一些检查，以确保其与nnU-Net兼容。如果此检查通过一次，则可以在以后的运行中省略。如果您遵守数据集转换指南（请参见上文），那么这条命令一定会通过的。

---

七、模型训练

1.写在训练前：更改epoch

nnUNet默认原始的epoch是1000，这太久了，我们打开nnUNet/nnunet/training/network_training/nnUNetTrainerV2.py

第48行的max_epoch来修改epoch

2.关于训练的运行命令

nnU-Net在5倍交叉验证中训练所有U-Net配置。这使nnU-Net能够确定训练数据集的后处理和集合（参见下文）。

如果你不清楚什么是K折交叉验证，可以学习这篇博客【技术分享】什么是K折交叉验证？_AISec盐究员的博客-CSDN博客_k折交叉验证

我们在数据预处理那一步的时候创建了三个U-Net配置：2D U-Net、对全分辨率图像进行操作的3D U-Net以及3D U-Net级联，其中级联的第一个U-Net在下采样图像中创建粗分割图，然后由第二个U-Net进行细化。我们在训练的时候可以自由选用它们。

训练模型使用“nnUNet_train”命令完成。命令的一般结构为：

nnUNet_train CONFIGURATION TRAINER_CLASS_NAME TASK_NAME_OR_ID FOLD  --npz (additional options)

1
2

1. CONFIGURATION是一个字符串，用于标识所请求的U-Net配置。
2. TRAINER_CLASS_NAME是model trainer的名称。如果您实施定制trainers（nnU-Net作为一个框架），您可以在此处指定您的定制trainers。
3. TASK_NAME_OR_ID指定应训练的数据集，FOLD指定训练的是5倍交叉验证的哪一倍。
4. “–npz”使模型在最终验证期间保存softmax输出。它仅适用于计划在之后运行“nnUNet_find_best_configuration”的训练
   （这是nnU Nets自动选择最佳性能（集合）配置，见下文）。

对于我们的Task01来说，应该运行的命令如下

nnUNet_train 3d_fullres nnUNetTrainerV2 1 0 --npz

1
2

• 3d_fullres代表我们选用对全分辨率图像进行操作的3D U-Net
• nnUNetTrainerV2是我们选用的训练器
• 1代表你的任务ID
• 0代表五折交叉验证中的第0折

下面给出各种配置的nnUNet网络需要的训练命令

2D U-Net

For FOLD in [0, 1, 2, 3, 4], run:

nnUNet_train 2d nnUNetTrainerV2 TaskXXX_MYTASK FOLD --npz

1
2

3D full resolution U-Net 3D全分辨率U-Net

For FOLD in [0, 1, 2, 3, 4], run:

nnUNet_train 3d_fullres nnUNetTrainerV2 TaskXXX_MYTASK FOLD --npz

1
2

3D U-Net cascade 3D U-net级联

①3D low resolution U-Net

For FOLD in [0, 1, 2, 3, 4], run:

nnUNet_train 3d_lowres nnUNetTrainerV2 TaskXXX_MYTASK FOLD --npz

1
2

②3D full resolution U-Net

For FOLD in [0, 1, 2, 3, 4], run:

nnUNet_train 3d_cascade_fullres nnUNetTrainerV2CascadeFullRes TaskXXX_MYTASK FOLD --npz

1
2

注意，级联的3D全分辨率U-Net需要预先完成低分辨率U-Net的five folds！

3.训练结果

训练后的模型将写入RESULTS_FOLDER/nnUNet文件夹。对于我们的项目来说，就是会存在/home/work/nnUNet/nnUNetFrame/DATASET/nnUNet_trained_models/nnUNet这个路径下。

每次训练都会获得一个自动生成的输出文件夹名称，根据我们的训练配置，我们会得到3d_fullres/Task001_BrainTumour这个文件夹。关于它的树状图如下（为简洁起见，有些文件仅在一个文件夹下详细展开）：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

rk/nnUNet/nnUNetFrame/DATASET/nnUNet_trained_models/nnUNet这个路径下。

每次训练都会获得一个自动生成的输出文件夹名称，根据我们的训练配置，我们会得到3d_fullres/Task001_BrainTumour这个文件夹。关于它的树状图如下（为简洁起见，有些文件仅在一个文件夹下详细展开）：

[外链图片转存中…(img-Kuf50uzg-1715092481082)]
[外链图片转存中…(img-4s4eKc1x-1715092481083)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！