首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >前沿 | 流批一体的一些想法

前沿 | 流批一体的一些想法

作者头像
用户6070864
发布2021-07-15 10:50:54
1.8K1
发布2021-07-15 10:50:54
举报
文章被收录于专栏:实时流式计算实时流式计算

❝每家数字化企业在目前遇到流批一体概念的时候,都会对这个概念抱有一些疑问,到底什么是流批一体?这个概念的来源?这个概念能为用户、开发人员以及企业带来什么样的好处?跟随着博主的理解和脑洞出发吧。 ❞

前言

到底什么是流批一体?

批的来源?流的来源?

为什么要做流批一体?

数据开发的现状出发

探索理想中的流批一体能力支持

最终到数仓落地

go!!!

n 年前的引擎能力(hive 等)

对文件、批量数据处理支持很友好

数据多是小时、天级别延迟

结论:批是在批式存储、处理引擎能力支持的角度提出的

近几年的引擎能力(flink 等)

逐渐对流式数据处理、容错支持更好

数据可以做到秒、分钟级别延迟

结论:流是在流式存储、处理引擎能力支持的角度提出的

站在用户的角度来看

对于相同的指标,有离线的、实时的,而且部分场景下口径不能统一!

博主理解的流批一体更多的是站在平台能力支持的角度上

所以这里重点说明引擎 + 工具链上的期望

更多 Flink 实时大数据分析相关技术博文,视频。后台回复 “flink” 获取。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-07-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据流动 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档