【已解决】RuntimeError: CUDA error: out of memoryCUDA kernel errors | 选择指定服务器跑模型

作者：花生_TL007 | 2024-03-11 21:39:39

踩

当出现报错

RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

使用

nvidia-smi

查看当前服务器占用情况

上图中3号服务器还有剩余位置，因此使用以下方法即可运行

CUDA_VISIBLE_DEVICES=3   nohup  python train.py &

注意：是 CUDA_VISIBLE_DEVICES=3 + 你的代码

如果遇到第三列都很满的情况，则看第二列

上图中GPU2的占用情况为88%，但是memory-usage是8893/32510，所以可以试试能不能用。一般情况是可以的，但是会比较慢，因为有别人在跑

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/220659?site