RuntimeError: CUDA error: out of memory解决记录_解决训练过程中内存溢出 runtimeerror:out of memory

出现RuntimeError: CUDA error: out of memory解决办法记录

在训练或测试过程中出现错误如下：或者出现这样类似的错误：

RuntimeError: Error while calling cudaMalloc(&data, n) in file C:\Users\43196\Desktop\dlib-19.19\dlib\cuda\cuda_data_ptr.cpp:58. code: 2, reason: out of memory
1

原因： 由于GPU显存资源有限，训练输入的batchsize或者图片大小imagesize过大，会导致GPU爆满引发中断，会出现out of memory错误

解决方案：
将batchsize或者imagesize大小降低，如batchsize降为1，imagesize把[640，640]改为320，320]即可解决问题。

测试时出现此问题解决方案： 在测试代码之前使用命令行： with torch.no_grad():

此外，可以使用终止进程释放内存。
首先，需要通过命令行查看GPU的使用情况，和占用GPU资源的程序。

watch -n 0.1 nvidia-smi
1

然后，杀死程序释放内存。

ps laf//看哪个pytorch 的 pid 

kill -9 pid //终止进程

nvidia-smi//查看GPU使用情况
1
2
3
4
5