我想从Kafka主题中读取使用Python的Spark streaming的值。我使用的是带有spark-streaming-kafka-0-8支持的DStream应用程序接口(尽管已被弃用)。:spark-streaming-kafka-0-8_2.11:2.4.5"))
# Input: DStream from ApacheOutput: show stre
我正在构建一个REST,它在星火库集群中启动一些计算,并使用一个分块的结果流进行响应。给定星火流的计算结果,我可以使用把数据从星火中发送出去。我用akka- HTTP发送分块的http响应: case HttpRequest(HttpMethods.GET但是,使用星火DStream作为Akka流源的惯用方式是什么
然而,当集群中的一个Kafka实例宕机时,我们会得到下面重现的异常。一段时间后,我们重新启动了禁用的Kafka实例,并尝试完成Spark作业,但Spark已经因为异常而终止。因此,我们无法阅读Kafka主题中的其余消息。$1$$anonfun$1.apply(DStream.scala:349)
at org.apache.spark.streaming.dstream</e
我试图将一个简单的dataframe写入oracle数据库,但我得到了一条错误消息。我使用一个case类和一个列表来构造我的数据。我发现我们可以在写完之后使用jdbc方法将数据插入到我的oracle数据库中。$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3.apply(DStream.scala:627)
at org.apache.spark.streaming.dstream</e