loss=nan解决办法_lora训练loss=nan

作者：Gausst松鼠会 | 2024-05-24 15:04:50

踩

lora训练loss=nan

训练网络时出现loss=nan的情况，caffe不会报错，但是显然这样是不对的。

将solver.prototxt文件中的base_lr减小一点之后，这个问题就不再出现了。我一般先将base_lr降为原来的0.1倍，一般这样就可以了，如果实在不行的话就再降10倍。

好像知道为什么这样就可以，learning rate到底是怎么影响整个网络的捏？

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/617944