首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >SparkStreaming 之容错机制深度剖析

SparkStreaming 之容错机制深度剖析

作者头像
starzy
修改于 2026-11-16 09:32:30
修改于 2026-11-16 09:32:30
10
举报
概述
摘要:容错是流处理系统的底线——挂了能不能恢复、恢复后会不会丢数据或重复数据。这篇把 Spark Streaming 的容错拆成三个层面讲:数据容错(WAL 和 offset 自管理)、计算容错(RDD 血缘重算)、元数据容错(checkpoint),再对照 Receiver 和 Direct 两种模式在四种故障场景下的恢复方式,说清楚为什么 Direct 模式的容错代价最低。
文章被收录于专栏:Spark 技术Spark 技术

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档