首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >SparkStreaming 之 Direct 模式并行度设置与 offset 管理

SparkStreaming 之 Direct 模式并行度设置与 offset 管理

作者头像
starzy
发布于 2026-11-17 14:23:14
发布于 2026-11-17 14:23:14
210
举报
概述
摘要:Direct 模式上线前有两个问题绕不开:并行度怎么调,offset 怎么管。前者很多人栽在"executor 加了不少,吞吐还是上不去"上——因为 Direct 模式的并行度天花板是 Kafka 分区数;后者决定你能否做到 exactly-once。这篇把这两个问题一次讲清,各给一套能落地的配置和代码。
文章被收录于专栏:Spark 技术Spark 技术

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档