pytorch中出现nan的现象的一个奇怪的原因_nn.linear nan

作者：从前慢现在也慢 | 2024-03-26 01:48:33

踩

nn.linear nan

引言

写代码过程中遇到的一个小坑，陆陆续续的调了好久，今天解决了，特此记录一下。

正文

前段时间跑了一个TextCnn的demo，但是一直出现nan的情况。排查了好久发现是全连接层后产生了nan，一个比较奇怪的现象。使用nn.Linear函数实现全连接，把相同的输入数据和全连接层参数取出来后用numpy的dot函数计算，发现结果不是nan，也就是说不是数据的问题，是计算的过程中出现了问题。检查的时候发现模型和数据都没有用to.(‘cuda’)放到gpu上训练，所以猜想会不会是gpu训练和cpu训练的问题。用to.(‘cuda’)将模型和数据都放到gpu上后，nan现象消失了。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/313832?site