腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
皮皮鲁的AI星球
专栏作者
举报
79
文章
181137
阅读量
34
订阅数
订阅专栏
申请加入专栏
全部文章（79）
大数据（29）
编程算法（22）
深度学习（19）
神经网络（18）
机器学习（14）
人工智能（13）
scala（10）
java（8）
python（8）
线性回归（7）
数据处理（7）
打包（6）
unix（6）
网络安全（6）
https（6）
数据库（5）
ide（5）
硬件开发（4）
serverless（4）
spark（4）
processing（4）
tensorflow（3）
c++（3）
linux（3）
mapreduce（3）
文件存储（3）
开源（3）
推荐系统（3）
数据分析（3）
数据结构（3）
kafka（3）
c 语言（2）
sql（2）
git（2）
github（2）
api（2）
apache（2）
批量计算（2）
命令行工具（2）
分布式（2）
缓存（2）
hadoop（2）
numpy（2）
微信（2）
windows（2）
云计算（2）
比特币（1）
NLP 服务（1）
数据挖掘（1）
javascript（1）
css（1）
ajax（1）
typescript（1）
单片机（1）
汇编语言（1）
maven（1）
搜索引擎（1）
ubuntu（1）
centos（1）
GPU 云服务器（1）
日志服务（1）
消息队列 CMQ 版（1）
腾讯云测试服务（1）
图像处理（1）
大数据解决方案（1）
自动化（1）
shell（1）
hive（1）
正则表达式（1）
面向对象编程（1）
pytorch（1）
gcc（1）
数据可视化（1）
fpga（1）
腾讯云开发者社区（1）
信息流（1）
聚类算法（1）
5g（1）
flink（1）
bat（1）
dot（1）
etl（1）
key（1）
nlp（1）
product（1）
scale（1）
创业（1）
团队管理（1）
搜索文章
搜索
搜索
关闭
端到端Exactly-Once是分布式系统最大挑战？Flink是如何解决的？
大数据
数据库
sql
unix
分布式
某条数据投递到某个流处理系统后，该系统对这条数据只处理一次，提供Exactly-Once的保障是一种理想的情况。如果系统不出任何故障，那简直堪称完美。然而现实世界中，系统经常受到各类意外因素的影响而发生故障，比如流量激增、网络抖动、云服务资源分配出现问题等。如果发生了故障，Flink重启作业，读取Checkpoint中的数据，恢复状态，重新执行计算。
PP鲁
2020-02-26
939
0
Flink Checkpoint机制原理剖析与参数配置
大数据
编程算法
分布式
数据处理
在Flink状态管理详解这篇文章中，我们介绍了Flink的状态都是基于本地的，而Flink又是一个部署在多节点的分布式引擎，分布式系统经常出现进程被杀、节点宕机或网络中断等问题，那么本地的状态在遇到故障时如何保证不丢呢？Flink定期保存状态数据到存储上，故障发生后从之前的备份中恢复，整个被称为Checkpoint机制，它为Flink提供了Exactly-Once的投递保障。本文将介绍Flink的Checkpoint机制的原理。本文会使用多个概念：快照（Snapshot）、分布式快照（Distributed Snapshot）、检查点（Checkpoint）等，这些概念均指的是Flink的Checkpoint机制，读者可以将这些概念等同看待。
PP鲁
2020-02-17
1.5K
0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档