这些指标对星火结构化流意味着什么？
这些指标对星火结构化流意味着什么？
提问于 2020-04-07 06:53:09
spark.streams.addListener(new StreamingQueryListener() {
......
override def onQueryProgress(queryProgress: QueryProgressEvent): Unit = {
println("Query made progress: " + queryProgress.progress)
}
......
})当StreamingQueryListener被添加到Spark结构化流会话并连续输出queryProgress时，您将得到的度量之一是持续时间is
Query made progress: {
......
"durationMs" : {
"addBatch" : 159136,
"getBatch" : 0,
"getEndOffset" : 0,
"queryPlanning" : 38,
"setOffsetRange" : 14,
"triggerExecution" : 159518,
"walCommit" : 182
}
......
}有人能告诉我这些持续时间内的子指标在火花上下文中的含义是什么吗？例如，"addBatch 159136“的含义是什么。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-04-07 08:53:39
这是一个优秀的网站，解决方面和更多，传递信用给这个网站因此。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61074343
复制相关文章
相似问题
腾讯云开发者
