MindSpore:【模型训练】【mindinsight】timeline的时间和实际用时相差很远_模型训练时间线

作者：2023面试高手 | 2024-05-26 06:06:47

踩

模型训练时间线

问题描述：

【功能模块】

【模型训练】【mindinsight】【timeline】

【操作步骤&问题现象】

1、训练模型，跑了两个epoch，耗时大概十分钟

2、下载timeline

3、导入到chrome的tracing功能中

【截图信息】

timeline：

看到timeline中颜色条集中在两个地方，一个是0days附近，一个是在2.315days前那里。从timeline上看一个用时超过1天。而且在下载timeline的那个地方，显示Total operator execution time:597285262.1108ms，相当于6.9天

但从loss-step的折线图看，2个epoch总共才用了624秒：

为什么程序实际上只跑了十分钟，但timeline那里却显示那么久？

解决方案：

是AIcpu和AIcore算子的时间戳没有对齐。我们正在修复，会尽快合入master分支。您可以基于现有的timeline文件，主要关注AIcore算子的信息（Process 0下的算子）进行性能分析。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/625490