如何在awaitTermination之后获得流查询的进度？

文章/答案/技术大牛

发布

2回答

apache-spark、spark-structured-streaming

我是spark的新手，读过一些关于监控spark应用程序的文章。基本上，我想知道在给定的触发时间和查询进度下，spark应用程序处理了多少条记录。我知道'lastProgress‘给出了所有这些指标，但是当我使用带有'lastProgress’的awaitTermination时，它总是返回null。Query Id: "+ q4s.id.toString()) println("QUERY PROGRESS.........

浏览 35提问于2019-01-30得票数 4

1回答

监控结构化流

scala、apache-spark、spark-structured-streaming

我已经设置了一个运行良好的结构化流，但我希望在它运行时监视它。onQueryTerminated(event: QueryTerminatedEvent): Unit = { }spark.streams.addListener(listener)val query = inputDF.write

浏览 5提问于2016-12-02得票数 14

2回答

StreamingQuery.awaitTermination的目的是什么？

apache-spark、spark-structured-streaming

我有一个Spark结构化的流媒体工作，它从一个Kafka主题中读取偏移，并将其写入aerospike数据库。目前，我正在使这项工作的生产准备和实施SparkListener的过程中。我无意中发现了这个示例：在执行此代码之后，流计算将具有从背景开始。

浏览 0提问于2018-11-28得票数 6

回答已采纳

1回答

如何在MySQL中将两个流df写入两个不同的表中？

apache-spark、spark-structured-streaming

我编写了火花结构化流的代码，将流数据插入到两个不同的MySQL表中。注意:我尝试将不同的MySQL用户/数

浏览 1提问于2020-10-07得票数 2

回答已采纳

2回答

如何使用Python在Spark结构化流中查看特定的度量

python、apache-spark、pyspark、spark-structured-streaming

我试图在星火结构化流(例如processedRowsPerSecond)中看到任何度量，但我不知道该如何做。我在“结构化流编程指南”中看到，使用print(query.lastProgress)，您可以直接获得活动查询的当前状态和指标，但如果编写它，我只能获得None一次。我的代码的最后一部分如下： .writeStream\ .

浏览 2提问于2021-12-18得票数 2

回答已采纳

2回答

为什么卡夫卡消费者代码冻结时，我启动火花流？

scala、apache-spark、apache-kafka、spark-streaming

我对卡夫卡很陌生，我试图在spark2中实现卡夫卡的消费逻辑，当我在shell中运行我的所有代码并启动流时，它没有显示任何内容。但我仍然面临着同样的问题。或者这是一个已知的问题？

浏览 6提问于2019-10-17得票数 0

回答已采纳

1回答

将Spark streaming数据流写入MongoDB

java、mongodb、apache-spark、spark-structured-streaming

我在Spark中有一个带有特定模式的流媒体Dataset。当我想在上面计算一个查询时，我调用： .writeStream()OutputMode.Update()) .start(); 这样，我就可以在控制台中看到<e

浏览 0提问于2018-06-11得票数 3

3回答

火花壳不允许查询结构化流。

apache-spark、spark-structured-streaming

activityCounts.writeStream.queryName("activity_counts").format("memory").outputMode("complete").start()书上说既然这个流正在运行，我们就可以通过查询来试验结果了。我的观察当执行这段代码时，它不会释放shell，让

浏览 0提问于2018-07-27得票数 3

5回答

优雅地停止结构化流查询

apache-spark、spark-structured-streaming

我正在使用Spark2.1，并试图优雅地停止流查询。StreamingQuery.stop()是一个优雅的停留，因为我还没有在中看到有关此方法的任何详细信息在过去的流世界(DStreams)中，有一个 --流的执行，可以选择确保所有接收到的数据都已

浏览 14提问于2017-08-16得票数 12

1回答

从Kafka主题中读取数据，然后使用scala和spark将其写回Kafka主题。

scala、apache-spark、apache-kafka、spark-structured-streaming

嗨，我是从卡夫卡主题中读到的，我想要处理从卡夫卡收到的数据，例如，对未完成的数据进行过滤，删除停止词，最后再写回另一个卡夫卡主题。kafka.bootstrap.servers", hostAddress) .start()那么我得到了下面的错误线程“主”中的org.apache.spark.sq

浏览 2提问于2021-03-14得票数 3

2回答

如何在Spark Structured Streaming中读取Kafka和查询外部存储，如Cassandra？

apache-spark、apache-spark-sql

如何在Spark Structured Streaming中读取Kafka和查询外部存储，如Cassandra？我从Kafka获得消息流，我想对它应用Map操作，对于每个键，我想查询像Cassandra这样的数据存储，并获得该键的更多信息，并在流上应用进一步的操作。

浏览 2提问于2017-09-07得票数 1

1回答

为动态创建的JQuery进度条设置值

javascript、jquery、html、css、progress-bar

我有基于数据库查询结果集中的行生成的进度条(通过MVC Razor获得)： <li> <div class="label">@row.Name</div>} <e

浏览 1提问于2014-03-22得票数 0

回答已采纳

1回答

使用nodejs实时输出进度

node.js

当我在命令行上运行npm run react-build命令时，它显示了构建过程中的进度，但是当我使用命令行中的nodejs运行相同的命令时，它首先构建，然后显示整个输出。如何使脚本在处理过程中显示进度？

浏览 4提问于2020-04-30得票数 2

回答已采纳

2回答

使用火花流后没有输出

apache-spark、apache-kafka、spark-streaming

._2(); });jssc.start();交叉检查主题"test4“中是否有有效数据。我期望从kafka集群中流出的字符串将在控制台中的console.No异常中打印，但也不会输出。我在这里漏掉什么了吗？

浏览 1提问于2016-04-27得票数 1

回答已采纳

1回答

在下载文件时将进度条设置为进度栏

android、pdf、download、progressdialog、progress

现在，当下载一个pdf文件时，我想向用户显示一个进度对话框，但是不知道如何设置下载文件的百分比。我已经搜索过这个文件，但是给出的所有解决方案都是针对http connection.In我的情况，我想它会以不同的方式出现。因此，请检查我的代码，然后建议我这样做的方法。提前谢谢。

浏览 2提问于2017-03-30得票数 0

3回答

是否有一种动态停止星火结构化流的方法？

apache-spark、apache-kafka、spark-streaming、spark-structured-streaming

在我的场景中，我有几个不时出现的dataSet，我需要在我们的平台中摄取它们。摄入过程涉及几个转换步骤。其中之一就是星火。特别是，到目前为止，我使用的是火花结构化流。该基础设施还涉及卡夫卡，从卡夫卡中激发结构化流读取数据。我想知道是否有一种方法可以在一段时间内从某个主题中检测到什么时候没有其他东西可供使用，从而决定停止这项工作。也就是说，我希望运行它所需的时间来使用特定的数据集，然后停止它。由于具体的原因，我们决定不使用批处理版本<

浏览 3提问于2018-09-25得票数 8

回答已采纳

1回答

如何在测试运行期间显示测试摘要

c#、visual-studio-2015、mstest、test-results

在完成所有测试的测试运行之后，只获得.trx文件。我希望显示每个测试的测试运行进度。我不想等待所有的测试complete.Once测试完成，然后我想显示进度我希望在写入.trx文件之前，可以根据测试运行id将与测试运行相关的结果存储在某个存储库中，最后在测试运行完成后检索详细信息，然后将其写入.trx文件。

浏览 11提问于2019-07-24得票数 0

1回答

在非交互式脚本中使用aptdcon或其他应用程序(S)？

command-line、scripts

我试图找到一种方法来使用aptdcon --脚本中aptdaemon的命令行客户机。可记录输出-无进度指示器。所以aptdcon会提示用户响应，这使得它不适合shell脚本。如何在非用户交互脚本中使用aptdcon或任何其他应用程序(不需要根权限)？

浏览 0提问于2012-03-02得票数 3

回答已采纳

1回答

Spark结构化流前置分区/连接池问题

apache-spark、spark-structured-streaming

我正在使用结构化流从Kafka读取数据，我需要将数据保存到InfluxDB。在基于Dstreams的常规方法中，我这样做了如下：(record.topicrecord._2) ) } logger.info("Started Spark-Kafka streaming session") ssc.awaitTerminat

浏览 0提问于2018-05-17得票数 2

1回答

火花流(火花1.6)与结构化流(Spark2.2)

scala、apache-spark、spark-streaming

在Spark2.2中，我使用了使用Kafka的星火流，如下所示： .setAppName("Test")StringDecoder](ssc, kafkaParams, topicsSet).map(_._2) }) 现在，我需要使用Spark2.2进行同样的操作。我读到了关于结

浏览 5提问于2017-12-13得票数 2

回答已采纳

点击加载更多