flink两三事 ----(1)历史

最近群里朋友让解释下flink的watermark机制,那就顺便也简单聊聊flink本身的二三事,本篇写扯一扯历史:

大家都知道,大数据的起源在美国,当前的最热门的技术也都是美国掌握,hadoop,spark,学术界牛逼高校有伯克利,斯坦福等,商业上也比较成功,比如做平台的cloudera,hortonworks等都在美国。

讲到组件最热的当前应该属于spark,前面刚写一篇文章《Spark这是要一统江湖的节奏》,介绍Spark创始人Matei最近在spark submmit上做了一次演讲,spark开始一统天下了。Spark 成名于用RDD在内存中计算替代了MapReduce的磁盘技术,批量计算场景下,十倍于MapReduce,不过现在spark已经开始朝深度学习和实时计算进军了。

讲到flink也挺有意思。本来欧洲就没有什么像样的大数据项目,这其中可能很大一部分原因是欧洲没有像美国一样成熟的风投,毕竟搞高科技不砸钱肯定是万万不能的。

比如spark是09年诞生在伯克利的AMPLab,13年开源称为Apache孵化项目,同时这帮实验室的老师学生就成立了databricks公司,去商业孵化spark,有了公司之后,spark就得到了快速发展。

欧洲经济不行,但是欧洲老牌高校的底子还是在的,flink作为研究项目其实比spark还要早一年,08年就是柏林理工大学的一个研究项目,但是明显开源运作和商业上要比spark慢很多,14年才称为Apache孵化项目。所以说欧洲的商业化环境要比美国差不少,欧洲的大老爷们也不操心赚钱的事情,起了个大早,赶了个晚集。

不过还好,点选的不错。14年孵化后,flink就避开spark在批处理,主打毫秒级实时流计算。当年spark和flink为了谁是真正的流计算引擎,还PK过很长一段时间。Spark方面还辩解说mini batch也是很牛的,而且万一技术不行,场景也是对的,大部分场景都需要高吞吐的实时计算吧,最新的2.2版本也还是打脸了,也开始支持毫秒级了。

技术只是其中一方面原因,商业生态才是决定因素。spark社区被databricks控制其实是非常严的,commiter/pmc基本都是他们自己人,flink 能搞起来的另外一个原因是大家不愿意看到databricks一家独大,登录flink的网站去看看,http://flink.apache.org,阿里巴巴,爱立信赞助公司等都在列。所以最近有人问,flink和spark好像思路都有点类似,都想一统天下,谁会赢。我说大概率类似开源数据库Postgresql和Mysql,都不会死。不过目前看spark确实还是技压一筹,spark的活跃度要高于flink,不过也别担心flink会不行。

好,这一篇就先扯一扯flink的历史,我不想一篇文章太长,看得累,分开来讲。后面讲讲flink相关的技术,内存管理,留处理引擎,watermark等。谢谢大家。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-06-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【快报】各国机器人亮相天津达沃斯 |机器人律师打赢16万起交通罚单官司

1各国机器人亮相天津达沃斯论坛 ---- ? 2016夏季达沃斯论坛刚刚在天津落下帷幕。本届论坛主题是“第四次工业革命——转型的力量”,人工智能成为论坛的热点话...

3336
来自专栏安恒信息

信息安全通报第49期

2017年第49期安全通报 1数据看安全 国家信息安全漏洞共享平台本周共收集、整理信息安全漏洞440个,其中高危漏洞194个、中危漏洞202个、低危漏洞44个。...

3709
来自专栏机器人网

想开发孩子的智力?请考虑这款呆萌的可编程学习机器人

Marty是一个带有WiFi功能的可编程行走机器人,它的零部件可以通过3D打印进行定制。尽管设计得简单易用,非常适合初学者,但一点也不影响Marty用来做一些很...

3035
来自专栏量子位

想了解TPU 3.0?Jeff Dean推荐看看这段视频

在谈到这款芯片的时候,Google CEO只是轻描淡写的透露TPU 3.0比上一代快八倍,而且由于芯片太强大,Google第一次引入液体冷却方法。

834
来自专栏镁客网

「镁客晚报」苹果自家应用AppStore排名作假,IBM令巴菲特亏损20亿美元

1853
来自专栏AI科技大本营的专栏

不盲目依赖人工智能,海信帮欧尚开了近 300 家无人便利店

对于新零售领域初创公司缤果盒子(BingoBox)来说,2017 年 9 月 28 日应该是个难忘的日子。

872
来自专栏嵌入式程序猿

学会BLDC电机控制必须搞懂的状态

BLDC越来越多的应用,如家电,工农业,汽车,无人机,等,如上图就是一个BLDC内部绕组示意图,这段时间一直在做车上的项目,其中涉及到BLDC电机的控制调速,B...

854
来自专栏企鹅号快讯

腾讯这一波,又会带火哪些域名?

目前,只需要将微信客户端升级到最新版本,就能体验微信的这个新功能了。相信不少人也已经被下面这个图给刷屏了: ? 许多人都反映,“跳一跳”实在是太好玩了,一不小心...

1917
来自专栏SDNLAB

数说交换机——关于交换机市场的几个真相

1993
来自专栏点滴科技资讯

美国中央情报局下属风险投资公司投资两家云计算公司

In-Q-Tel是美国顶级间谍机构—中央情报局(CIA)下属的风险投资公司,近期投资了热门云计算创业企业Mesosphere和Docker,投资金额未披露。 ...

33813

扫描关注云+社区