关于paddlepaddle使用推理模式时CUDA error:out of memory错误的解决办法_paddle out of memory

作者：繁依Fanyi0 | 2024-05-08 13:06:24

踩

paddle out of memory

在paddlepaddle的export.py导出的模型（也就是生成__model__,params,deploy.yaml三个文件），
运行时报错Out of memory error on GPU 0. Cannot allocate 32.959229MB memory on GPU 0, available memory is only 3.287499MB.

其实显卡时内存足够的。

解决办法：

在程序运行的前面添加如下代码

os.environ[‘FLAGS_eager_delete_tensor_gb’] = “0.0”

主要作用是 GPU memory garbage collection optimization flags

另外网上的其他办法做一个总结

1 如果是在多卡的环境下运行的出现错误
可以设置
CUDA_VISIBLE_DEVICES=“0” #后面是显卡编号，确保程序在这张显卡上运行

2 如果是在自己写的代码下运行报错
一定要开启model.eval()

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/554723