首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >SparkStreaming 之 Driver HA 原理及搭建实操

SparkStreaming 之 Driver HA 原理及搭建实操

作者头像
starzy
发布于 2026-11-16 16:45:03
发布于 2026-11-16 16:45:03
90
举报
概述
摘要:普通 Spark 作业 Driver 挂了,重跑就行;但 Spark Streaming 的 Driver 挂着的是"流处理的进度"——挂了不自动恢复,整个流就断在那一刻。这篇讲清 SparkStreaming Driver HA 靠什么实现(checkpoint 持久化 + YARN 自动重启),checkpoint 到底存了哪些东西,以及一套能直接用的 getOrCreate + sup
文章被收录于专栏:Spark 技术Spark 技术

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档