未显示结构化流式处理的流式处理选项卡
未显示结构化流式处理的流式处理选项卡
提问于 2019-05-09 12:30:49
我正在使用结构化流媒体来读取csvs和写入kafka。流选项卡未显示在Spark UI中(未使用流上下文)。
val userSchema = new StructType().add("name", "string").add("age", "integer")
val csvDF = spark
.readStream
.option("sep", ";")
.schema(userSchema) // Specify schema of the csv files
.csv("/path/to/directory") 如何在UI中获取流指标？
Stack Overflow用户
回答已采纳
发布于 2019-05-10 23:39:18
要查看某些指标(在控制台中)，您需要添加一个监听器
spark.streams.addListener(new StreamingQueryListener {
override def onQueryStarted(event: StreamingQueryListener.QueryStartedEvent): Unit = logger.debug(s"QueryStarted [id = ${event.id}, name = ${event.name}, runId = ${event.runId}]")
override def onQueryProgress(event: StreamingQueryListener.QueryProgressEvent): Unit = logger.warn(s"QueryProgress ${event.progress}")
override def onQueryTerminated(event: StreamingQueryListener.QueryTerminatedEvent): Unit = logger.debug(s"QueryTerminated [id = ${event.id}, runId = ${event.runId}, error = ${event.exception}]")
})QueryProgressEvent，显示有关偏移、水印、源、接收器等的信息。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56052230
复制相关文章
相似问题
腾讯云开发者
