当前位置:网站首页>MindSpore:【模型训练】【mindinsight】timeline的时间和实际用时相差很远
MindSpore:【模型训练】【mindinsight】timeline的时间和实际用时相差很远
2022-07-30 19:04:00 【小乐快乐】
问题描述:
【功能模块】
【模型训练】【mindinsight】【timeline】
【操作步骤&问题现象】
1、训练模型,跑了两个epoch,耗时大概十分钟
2、下载timeline
3、导入到chrome的tracing功能中
【截图信息】
timeline:
看到timeline中颜色条集中在两个地方,一个是0days附近,一个是在2.315days前那里。从timeline上看一个用时超过1天。而且在下载timeline的那个地方,显示Total operator execution time:597285262.1108ms,相当于6.9天
但从loss-step的折线图看,2个epoch总共才用了624秒:
为什么程序实际上只跑了十分钟,但timeline那里却显示那么久?
解决方案:
是AIcpu和AIcore算子的时间戳没有对齐。我们正在修复,会尽快合入master分支。您可以基于现有的timeline文件,主要关注AIcore算子的信息(Process 0下的算子)进行性能分析。
边栏推荐
- 中集世联达工业级成熟航运港口人工智能AI产品规模化应用,打造新一代高效能智慧港口和创新数字港口,全球港航人工智能能领军者中集飞瞳
- kotlin by lazy
- VBA connects Access database and Excel
- 部分分类网络性能对比
- MySql中@符号的使用
- Scrapy框架介绍
- 第十七届“振兴杯”全国青年 职业技能大赛——计算机程序设计员(云计算平台与运维)参赛回顾与总结
- 微信小程序云开发 | 城市信息管理
- 经济新闻:错误# 15:初始化libiomp5md。dll,但发现libiomp5md。已经初始化dll。解决方法
- 【Swords Offer】Swords Offer 17. Print n digits from 1 to the largest
猜你喜欢
SimpleOSS第三方库libcurl与引擎libcurl错误解决方法
Read the "Language Model" in one article
Meta元宇宙部门第二季度亏损28亿!仍要继续押注?元宇宙发展尚未看到出路!
解决终极bug,项目最终能顺利部署上线。
The advanced version of the Niu Ke brushing series (team competition, sorting subsequences, inverting strings, deleting common characters, repairing pastures)
Swiper rotates pictures and plays background music
【剑指 Offe】剑指 Offer 18. 删除链表的节点
Mysql执行原理剖析
攻防世界web-Cat
MySql中@符号的使用
随机推荐
Recommendation | People who are kind to you, don't repay them by inviting them to eat
NXP IMX8QXP replacement DDR model operation process
【剑指 Offer】剑指 Offer 22. 链表中倒数第k个节点
沉浸式体验科大讯飞2022消博会“官方指定产品”
Node encapsulates a console progress bar plugin
[Summary] 1396- 60+ VSCode plugins to create a useful editor
Range.CopyFromRecordset 方法 (Excel)
Mysql execution principle analysis
【每日一道LeetCode】——191. 位1的个数
Go system collection
VBA 运行时错误‘-2147217900(80040e14):自动化(Automation)错误
MYSQL(基本篇)——一篇文章带你走进MYSQL的奇妙世界
Another company interview
Scrapy框架介绍
Difference between Object and Map
AI基础:图解Transformer
开心的聚餐
DM8: Single database and single instance to build a local data guard service
一文读懂“语言模型”
JS提升:Promise中reject与then之间的关系