BrokenPipeError: [Errno 32] Broken pipe

作者：爱喝兽奶帝天荒 | 2024-07-19 10:16:34

踩

brokenpipeerror: [errno 32] broken pipe

BrokenPipeError: [Errno 32] Broken pipe 解决

在这里插入图片描述

原因：

在训练过程中，设置的num_workers过大
在这里插入图片描述

修改num_workers=0 或者比你原先设定的数字小的数值。

num_worker参数理解

就是设置参数大的话，例如参数为10，就可以有10个线程来加载batch到内存。当然参数设置过大，而自己内存不够的情况下，就会出现线程管道破裂，即broken pipe ,所以一般默然设置为0.
当然：如果num_worker设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了），而是在RAM中找batch，找不到时再加载相应的batch。缺点当然是速度更慢。
—————————————————————————————————————
原文链接：https://blog.csdn.net/kaxiaokui/article/details/106453605

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/850886