解决pytorch报错BrokenPipeError: [Errno 32] Broken pipe

问题描述

BrokenPipeError: [Errno 32] Broken pipe
1

原因分析

Windows使用DataLoader时设置num_workers的问题。

解决方案

两种解决方案，任选一种即可！

方案1

把代码放到if __name__ == "__main__":下运行

if __name__ == "__main__":
    train_dataloader = DataLoader(
        dataset=dataset,
        batch_size=32,
        shuffle=True,
        num_workers=8
    )
1
2
3
4
5
6
7

方案2

num_workers不要更改，设置为默认值0。

温馨提示

num_workers (int, optional): how many subprocesses to use for data loading. 0 means that the data will be loaded in the main process. (default: 0)

num_workers参数允许输入的数据类型是整型，表示加载数据的子进程数。也就是使用多进程来加载数据，这样效率更高一些。如果设置为0表示子进程数是0，也就是只用一个主进程来加载数据。数据量不多的情况下，不需要用多进程，因为进程的创建和销毁也花时间。

引用参考

https://blog.csdn.net/qq_33666011/article/details/81873217
https://pytorch.org/docs/stable/_modules/torch/utils/data/dataloader.html
1
2