flink两三事 ----(1)历史

最近群里朋友让解释下flink的watermark机制,那就顺便也简单聊聊flink本身的二三事,本篇写扯一扯历史:

大家都知道,大数据的起源在美国,当前的最热门的技术也都是美国掌握,hadoop,spark,学术界牛逼高校有伯克利,斯坦福等,商业上也比较成功,比如做平台的cloudera,hortonworks等都在美国。

讲到组件最热的当前应该属于spark,前面刚写一篇文章《Spark这是要一统江湖的节奏》,介绍Spark创始人Matei最近在spark submmit上做了一次演讲,spark开始一统天下了。Spark 成名于用RDD在内存中计算替代了MapReduce的磁盘技术,批量计算场景下,十倍于MapReduce,不过现在spark已经开始朝深度学习和实时计算进军了。

讲到flink也挺有意思。本来欧洲就没有什么像样的大数据项目,这其中可能很大一部分原因是欧洲没有像美国一样成熟的风投,毕竟搞高科技不砸钱肯定是万万不能的。

比如spark是09年诞生在伯克利的AMPLab,13年开源称为Apache孵化项目,同时这帮实验室的老师学生就成立了databricks公司,去商业孵化spark,有了公司之后,spark就得到了快速发展。

欧洲经济不行,但是欧洲老牌高校的底子还是在的,flink作为研究项目其实比spark还要早一年,08年就是柏林理工大学的一个研究项目,但是明显开源运作和商业上要比spark慢很多,14年才称为Apache孵化项目。所以说欧洲的商业化环境要比美国差不少,欧洲的大老爷们也不操心赚钱的事情,起了个大早,赶了个晚集。

不过还好,点选的不错。14年孵化后,flink就避开spark在批处理,主打毫秒级实时流计算。当年spark和flink为了谁是真正的流计算引擎,还PK过很长一段时间。Spark方面还辩解说mini batch也是很牛的,而且万一技术不行,场景也是对的,大部分场景都需要高吞吐的实时计算吧,最新的2.2版本也还是打脸了,也开始支持毫秒级了。

技术只是其中一方面原因,商业生态才是决定因素。spark社区被databricks控制其实是非常严的,commiter/pmc基本都是他们自己人,flink 能搞起来的另外一个原因是大家不愿意看到databricks一家独大,登录flink的网站去看看,http://flink.apache.org,阿里巴巴,爱立信赞助公司等都在列。所以最近有人问,flink和spark好像思路都有点类似,都想一统天下,谁会赢。我说大概率类似开源数据库Postgresql和Mysql,都不会死。不过目前看spark确实还是技压一筹,spark的活跃度要高于flink,不过也别担心flink会不行。

好,这一篇就先扯一扯flink的历史,我不想一篇文章太长,看得累,分开来讲。后面讲讲flink相关的技术,内存管理,留处理引擎,watermark等。谢谢大家。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-06-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ThoughtWorks

我和思沃学院(二)——缘起|TW洞见

今日洞见 文章作者、图片来自ThoughtWorks:胡皓。封面图片来自网络。 本文所有内容,包括文字、图片和音视频资料,版权均属ThoughtWorks公司所...

3509
来自专栏杨建荣的学习笔记

ITIL的一些简单感受(r9笔记第5天)

今天听一个同事讲了下ITIL的内容,从这个主题的方向来说,我还是想好好取取经的。因为这个和基础架构中的配置管理,其中很多比较枯燥,晦涩的概念同事 竟然都用非常生...

3277
来自专栏工科狗和生物喵

如果我只能推荐四个APP

本人最爱之一——橙子 在App使用这方面,我一直是一个挑剔的人,或者可以称得上喜新厌旧。现在做一个小软件的门槛越来越低,各种出色的、各种功能的、能够解决一些小问...

3886
来自专栏云计算D1net

云计算,有时候也显得很愚蠢

关于Adobe放弃中国公司的原因众说纷纭,最近我读到了一篇很有趣的文章,这篇言之凿凿的文章认为市面上的其他说法都说不到点上,归根到底还是Adobe公司“不适应行...

2845
来自专栏大数据文摘

业界 | 特朗普大选曾利用大数据营销,违规使用5000万Facebook用户数据,扎克伯格仍未回应

1696
来自专栏镁客网

人工智能VS黑客,谁更厉害?

1413
来自专栏数据和云

以人为鉴:甲骨文公司云时代的明星工程师

编者注:一家公司的性格往往是由创始人展现出来,而中流砥柱的那些员工则决定了企业能够走向何方、走多长久,这篇文章中呈现出来的Oracle公司明星员工,可以借鉴这家...

3599
来自专栏PaddlePaddle

95后入行深度学习,都做出了哪些创意应用?

如果用一个词形容现在的大学生,“创新”“富有创意”都很贴切,而大学生入行深度学习,可谓将创新发挥到了极致!

1794
来自专栏养码场

一周播报|十年前不去BAT而选择外企的那群技术人,现在怎么样了?

养码人A:maven只是一个工具有各种命令,jenkins负责把这些命令流程化 + 图形界面 + 自动化 + 分布式支持

1012
来自专栏腾讯大讲堂的专栏

腾讯正在参与制定一个国际标准,让看片儿更简单

3495

扫码关注云+社区