首页
学习
活动
专区
圈层
工具
发布
首页标签spark-streaming

#spark-streaming

Spark Streaming中状态转换导致的空指针异常

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

最近在使用 Spark Streaming 进行实时数据处理时,遇到了一个因状态转换不当引发的空指针异常(NullPointerException)。这个问题虽...

28140

SparkStreaming 广播变量 + 懒加载:搞定 KafkaProducer 不可序列化问题

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

在最早接触大数据开发的实时流处理开发的时候,是使用的 SparkStreaming,那时候还不知道有flink,所以 SparkStreaming 就是碾压 S...

17110

【赵渝强老师】Spark Streaming中的DStream

赵渝强老师

要开发Spark Streaming应用程序,核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streami...

21110

Spark:从0实现30s内实时监控指标计算

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

说起Spark,大家就会自然而然地想到Flink,而且会不自觉地将这两种主流的大数据实时处理技术进行比较。然后最终得出结论:Flink实时性大于Spark。

54310

Spark:从0实现30s内实时监控指标计算

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

说起Spark,大家就会自然而然地想到Flink,而且会不自觉地将这两种主流的大数据实时处理技术进行比较。然后最终得出结论:Flink实时性大于Spark。

54310

2000字,探讨SparkStreaming窗口计算window的起源

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

在大数据流数据实时开发中,常用的技术就是SparkStreaming和Flink。在初学实时处理技术时,总是围绕着处理数据的实时性,来对不同技术做一个比较。

62843

2000字,探讨SparkStreaming窗口计算window的起源

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

在大数据流数据实时开发中,常用的技术就是SparkStreaming和Flink。在初学实时处理技术时,总是围绕着处理数据的实时性,来对不同技术做一个比较。

62843
领券