RuntimeError: CUDA out of memory. Tried to allocate ... MiB & Pytorch模型测试时显存一直上升导致爆显存_outofmemoryerror: cuda out of memory. tried to all

作者：AllinToyou | 2024-02-16 00:50:54

踩

outofmemoryerror: cuda out of memory. tried to allocate 30.00 mib. gpu 0 has

由于测试集很大，出现了CUDA out of memory错误。

在写代码的时候发现进行训练的时候大概显存只占用了2GB左右，而且训练过程中显存占用量也基本上是不变的。而在测试的时候，发现显存在每个batch数据推理后逐渐增加, 直至最后导致爆显存。

尝试过修改batchsize大小，调为1后仍会出现该问题。我的显存是12G，大概问题就出在了代码上。

测试的代码:


for data in tqdm(test_Loader):
    imgs, targets = data
    imgs = imgs.to(device)
    targets = targets.to(device)
    output = model(imgs)

遇到问题后我就进行单步调试, 然后观察显存的变化. 发现在模型推理这一步, 每一轮次显存都会增加.

output = model(imgs)

训练的时候有这样一步与测试不同所以没有出现爆显存的错误：

optimizer.zero_grad()

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/89027