首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Tensorboard未显示上一个检查点的评估结果

Tensorboard未显示上一个检查点的评估结果
EN

Stack Overflow用户
提问于 2019-03-11 20:32:10
回答 1查看 1K关注 0票数 3

我使用TensorFlow对象检测应用程序接口使用自定义数据对一些对象检测模型进行了4K步的训练,并在训练期间对它们进行了评估。所有的检查点都进行了评估,我在控制台上看到了结果。

但是,我在Tensorboard上看不到最后两个检查点的评估结果。它显示了3K步的评估结果,之后就什么也没有了。我可以看到评估已经在控制台和文件夹中完成了。

当我启动Tensorboard时,控制台上没有错误信息。我可以看到训练结果完全上传到Tensorboard,唯一缺少的是最后的评估结果。

我再次尝试评估最新的检查点,但没有任何变化。在评估结束时,我收到一条消息,说明指标已记录到摘要中……

训练检查点每10分钟保存一次,评估需要12分钟。但即使在这种情况下,我也希望得到最新的检查点评估结果。

当我尝试从Tensorboard下载csv文件时,我也看不到最后两个检查点的评估。

可能的原因是什么?

代码语言:javascript
复制
I0311 16:57:21.281645 MainThread program.py:165] Not bringing up TensorBoard, but inspecting event files.
I0311 16:57:21.281645 140028330256128 program.py:165] Not bringing up TensorBoard, but inspecting event files.
======================================================================
Processing event files... (this can take a few minutes)
======================================================================

Found event files in:
./CN_flow1_95/eval
./CN_flow1_95/train

These tags are in ./CN_flow1_95/eval:
audio -
histograms -
images
   image-0
   image-1
   image-2
   image-3
   image-4
   image-5
   image-6
   image-7
   image-8
   image-9
scalars
   Losses/Loss/BoxClassifierLoss/classification_loss
   Losses/Loss/BoxClassifierLoss/localization_loss
   Losses/Loss/RPNLoss/localization_loss
   Losses/Loss/RPNLoss/objectness_loss
   PascalBoxes_PerformanceByCategory/AP@0.5IOU/b'cyclist'
   PascalBoxes_PerformanceByCategory/AP@0.5IOU/b'motorcyclist'
   PascalBoxes_PerformanceByCategory/AP@0.5IOU/b'pedestrian'
   PascalBoxes_Precision/mAP@0.5IOU
tensor -
======================================================================

Event statistics for ./CN_flow1_95/eval:
audio -
graph
   first_step           0
   last_step            0
   max_step             0
   min_step             0
   num_steps            1
   outoforder_steps     []
histograms -
images
   first_step           0
   last_step            4112
   max_step             4112
   min_step             0
   num_steps            7
   outoforder_steps     []
scalars
   first_step           0
   last_step            4112
   max_step             4112
   min_step             0
   num_steps            7
   outoforder_steps     []
sessionlog:checkpoint -
sessionlog:start -
sessionlog:stop -
tensor -
======================================================================

These tags are in ./CN_flow1_95/train:
audio -
histograms
   ModelVars/...
images -
scalars
   Losses/TotalLoss
   Losses/clone_0/Loss/BoxClassifierLoss/classification_loss
   Losses/clone_0/Loss/BoxClassifierLoss/localization_loss
   Losses/clone_0/Loss/RPNLoss/localization_loss
   Losses/clone_0/Loss/RPNLoss/objectness_loss
   Losses/clone_1/Loss/BoxClassifierLoss/classification_loss
   Losses/clone_1/Loss/BoxClassifierLoss/localization_loss
   Losses/clone_1/Loss/RPNLoss/localization_loss
   Losses/clone_1/Loss/RPNLoss/objectness_loss
   Losses/clone_2/Loss/BoxClassifierLoss/classification_loss
   Losses/clone_2/Loss/BoxClassifierLoss/localization_loss
   Losses/clone_2/Loss/RPNLoss/localization_loss
   Losses/clone_2/Loss/RPNLoss/objectness_loss
   batch/fraction_of_150_full
   clone_0/Losses/clone_0//clone_loss
   global_step/sec
   queue/prefetch_queue/fraction_of_5_full
tensor -
======================================================================

Event statistics for ./CN_flow1_95/train:
audio -
graph
   first_step           0
   last_step            0
   max_step             0
   min_step             0
   num_steps            1
   outoforder_steps     []
histograms
   first_step           0
   last_step            4110
   max_step             4110
   min_step             0
   num_steps            28
   outoforder_steps     []
images -
scalars
   first_step           0
   last_step            4110
   max_step             4110
   min_step             0
   num_steps            54
   outoforder_steps     []
sessionlog:checkpoint
   first_step           1
   last_step            4111
   max_step             4111
   min_step             1
   num_steps            7
   outoforder_steps     []
sessionlog:start
   outoforder_steps     []
   steps                [0, 4110]
sessionlog:stop
   outoforder_steps     []
   steps                [0, 0]
tensor -
======================================================================
EN

回答 1

Stack Overflow用户

发布于 2019-03-15 04:26:52

我也在TensorBoard repo上问过这个问题。他们说没有理由不完美地加载事件文件,并告诉我来这里...

有时会看到正确的结果(如果由于详尽的测试而有10-15个事件文件),但大多数情况下看不到。我更改了存储检查点的频率,以便在评估期间不会遗漏任何检查点(这没有意义,但我还是尝试了一下)

我每12分钟存储一次检查点,因为评估也需要12分钟。它也不起作用。

所有拉力板--检查结果看起来都很好。

我在不同的计算机上尝试了不同的模型,还清理了浏览器缓存。没有什么真正有帮助的。

我相信在拉力板上有一个bug。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55101924

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档