首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >SparkStreaming 之 reduceByKeyAndWindow 详解及代码实现

SparkStreaming 之 reduceByKeyAndWindow 详解及代码实现

作者头像
starzy
发布于 2026-11-16 16:29:07
发布于 2026-11-16 16:29:07
20
举报
概述
摘要:reduceByKey 统计的是"当前这个 batch",但"最近 10 分钟的热门词""最近 1 小时的 PV"这类需求要看一个滚动的时间窗口。reduceByKeyAndWindow 就是干这个的。这篇讲清 windowDuration 和 slideDuration 两个参数怎么理解,窗口重叠为什么会造成重复计算,以及两个重载版本(普通版 vs 带逆函数的增量版)的差别和选择。
文章被收录于专栏:Spark 技术Spark 技术

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档