wrappedState) newStateMap.remove(key)}
deltaMap.update(key, newInfo)}我的问题是：
1:在当前批处理超时中将执行的键，因为在调用检查点时，"wrappedState.exi
浏览 1提问于2017-08-23得票数 0
回答已采纳
1回答
我有一份spark流媒体的工作，代码如下：[INFO] Compiling 9 source files to /Users/spare/project[KeyType,org.apache.spark.api.java.Optional
浏览 0提问于2018-07-01得票数 0
1回答
如何监控spark streaming应用的状态大小？驱动程序GUI中的存储选项卡仅显示Mapwithstate State操作的结果(Mapwithstaterdd，而不是实际的Spark State RDD！从Grafana中，我们观察到spark streaming应用程序的总内存使用量随着每批传入的流处理而“增长”。Grafana中显示的工作节点(整个集群
浏览 2提问于2016-09-30得票数 4
我为Spark.streaming.mapWithState的“更新函数”写了一个单元测试，我需要Mock的"org.apache.spark.streaming.State“参数，但它是一个密封的类，我应该如何测试我的功能？
浏览 0提问于2019-01-07得票数 0
1回答
类型-参数化DStream
、、、、
当我尝试lazy val qwe = mStream.mapWithState(stateSpec) on myDStream: DStream[(A, B)] (类参数)时，我得到： lazy val qwe = mStream.mapWithState
浏览 2提问于2017-01-05得票数 2
回答已采纳
在spark streaming应用程序中，mapWithState在哪里执行？它是在驱动程序上还是在执行器上？
浏览 1提问于2017-01-26得票数 0
(kafka直播流)该topic中的数据每隔5分钟就会从其他来源到达。现在我需要处理每隔5分钟到达的数据，并将其转换为Spark DataFrame。我知道我可以将批处理间隔(以JavaStreamingContext表示)指定为某个数字，但即使到那时，我也不能确定源将数据推送到主题需要多长时间
浏览 0提问于2017-06-09得票数 0
1回答
对于spark streaming，有没有方法可以让我们只维护当前窗口的状态？我知道updateStateByKey是工作的，但它会永远保持这种状态，除非我们将其清除。是否可以存储和重置每个窗口的状态？对象%1要么是调用，要么是响应。直到我们看到调用和响应，对象2才被认为是完整的。
但是，由于对象的响应可能在单独
浏览 0提问于2018-03-01得票数 0
1回答
我正面临一个火花流工作的问题，我试图使用广播，mapWithState和检查点在火花。以下为用法：
我还需要将广播连接对象传递到mapWithState，以便从外
浏览 5提问于2017-08-01得票数 3
1回答
在火花流应用程序中维护应用程序状态的最佳方法是什么？
使用" union“操作附加到查找RDD，并在每个联合之后保存它。我的问题是，从表现的角度看，哪一个更好？还有更好的方法吗？
浏览 5提问于2015-10-12得票数 4
我试图用Kafka实现wordCount，在使用mapWithState函数时得到了错误的“类型错配”。这是我的代码： val sparkConf = new SparkConf-> "localhost:9092",
"zookeeper.connect" -> "localhost:2181"
浏览 0提问于2018-10-02得票数 1
回答已采纳
eventhubsEvent.partitionId), eventhubsEvent.eventOffset)) - object (class org.apache.spark</e
浏览 6提问于2016-08-25得票数 2
1回答
我使用的是火花流作业，它使用带有初始RDD的mapWithState。当重新启动应用程序并从检查点恢复时，它将失败，错误如下：
RDD转换和操作不是由驱动程序调用的，而是在其他转换中调用的；例如，rdd1.map(x => rdd2.values.count() * x)无效，因为值转换和计数操作不能在当火花流作业从检查点恢复时，如果在DStream操作中使用对流作业未定义的RDD的引用
浏览 12提问于2017-06-23得票数 12
我们有一个支持spark.streaming.dynamicAllocation.enabled=true的带有mapWithState的spark 2.1流媒体应用程序。., new HashPartitioner(partitions)) .map(s => sessionAnalysis(s)).foreachRDD( rdd => rdd.toDF().....save(output)
浏览 0提问于2017-03-14得票数 2
我知道Spark Streaming会产生批量的RDDs，但我想积累一个大的Dataframe，随着每一批的更新(通过将新的dataframe附加到末尾)。
有没有办法像这样访问所有的历史流数据？我见过mapWithState()，但还没有看到它专门积累数据帧。
浏览 12提问于2018-08-01得票数 1
嗨，我正在使用带超时功能的mapwithstate api，当超时间隔到达理想数据时，我得到了下面提到的异常。我使用的示例位于这个位置，JavaPairDStream<String, Integer> wordsDstream = words.mapToPair(
new P
浏览 4提问于2016-02-25得票数 1
回答已采纳
1回答
" %% "spark-core" % "1.6.0"..[success] Total time: 98 s, com
浏览 0提问于2016-01-29得票数 1
想象一下这样一个用例:每个用户都有事件流进来，但只有第一周的事件是感兴趣的。在这段时间内，使用mapWithState实现了有状态逻辑。在该时间段之后，应忽略用户传入的事件。由于用户的状态需要记忆，因此在用户的周周期之后将其更改为简单的已见标记是有意义的。
如果用户在第一次事件后一周或更晚发生任何事件，则很容易将状态更改为已见标记。据我所知，添加超时(到用户的状态)没有帮助，因为您不允许更改超时状态的状态(这是有意义
浏览 0提问于2017-06-29得票数 5
我的代码包括一个mapWithState函数，可以正确运行。当我检查spark上的流统计时，我在处理时间图中发现了一些周期脉冲。我认为这可能是由于使用检查点造成的。和完成的分批表：我发现一些1秒的成本成批是周期性的。然后，我进入一个1秒的时间成本批处理和一个亚秒时间成本的批处理，并发现1秒的时间成本批有多一个工作比另一个。这是我的代码：
import kafka.ser
浏览 1提问于2016-12-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
