首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >SparkStreaming 之 Kafka 与 SparkStreaming 参数配置详解

SparkStreaming 之 Kafka 与 SparkStreaming 参数配置详解

作者头像
starzy
发布于 2026-11-19 09:08:44
发布于 2026-11-19 09:08:44
80
举报
概述
摘要:Kafka 和 Spark Streaming 对接,两侧都有一堆参数,很多还会互相影响——拉取速率是两边一起管的,offset 也是两边一起管的,配置不对轻则吞吐上不去,重则丢数据或重复消费。这篇把两侧参数按职责拆开,重点讲四个会打架的地方(auto.commit、offset.reset、两侧限流、consumer cache),以及它们怎么协同。
文章被收录于专栏:Spark 技术Spark 技术

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档