赞
踩
模型训练的速度越来越慢,到一定的进度时会直接卡死不再继续训练。
我简直百思不得其解,直到我搜到了这篇博客。作者提到自己的使用的tenserboard记录训练日志,造成了文件的频繁I/O操作,虽然我没有使用tenserboard,但是我用了wandb来可视化训练过程,在debug过程中使用了较多的print语句来输出张量维度,也会造成大量的文件I/O。
debug完一定要把print注释掉,保证清爽的训练过程,不然奇怪的训练速度降低的现象就会出现了。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。