在模型进行inference的时候爆显存_xinferernce csdn

作者：花生_TL007 | 2024-04-02 09:08:33

踩

xinferernce csdn

使用相同的参数进行模型的训练和inference。但居然在inference时出现：

RuntimeError: CUDA out of memory
1

后来发现可能是由于改变了inference出来的特征之后的计算过程，导致使用了更多的显存来计算梯度。原来计算出特征之后直接去算loss，而在inference时计算出特征之后是一些其他的操作。

之前以为model.eval()就可以停止计算梯度，但事实上model.eval()貌似只有禁用BatchNormalization和Dropout的功能。

在代码中加入torch.set_grad_enabled(False)后显存就够用了。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/351391