我昨天创造了一个培训工作,和往常一样,只是增加了很少的培训数据。在过去的两年中,我对此没有任何问题(同样的过程和代码)。这一次,在14个小时后,几乎完全停止了。培训工作仍在“处理中”,但此后cloudwatch没有记录任何内容。现在又过了8个小时,日志中没有新的条目,没有错误,没有崩溃。有人能解释一下吗?不幸的是,我没有任何AWS支持计划。从下面的图片中你可以看到,上午11点以后,什么也没有。
培训工作应该在接下来的几个小时内完成,但现在我不确定是否真的在运行(在这种情况下,这将是一个云监视问题)。
更新
培训工作突然失败,没有任何进一步的日志。原因是
ClientError:工件上传失败:错误7:收到的凭据已过期
但是上午11点以后,日志里什么也没有。很奇怪。
发布于 2021-03-25 15:04:37
对于未来的读者,我可以确认这是非常罕见的事情(从那以后我再也没有经历过),但这是AWS的错误。同样的数据,同样的算法。
https://stackoverflow.com/questions/66142193
复制相似问题