flink两三事 ----(1)历史

最近群里朋友让解释下flink的watermark机制,那就顺便也简单聊聊flink本身的二三事,本篇写扯一扯历史:

大家都知道,大数据的起源在美国,当前的最热门的技术也都是美国掌握,hadoop,spark,学术界牛逼高校有伯克利,斯坦福等,商业上也比较成功,比如做平台的cloudera,hortonworks等都在美国。

讲到组件最热的当前应该属于spark,前面刚写一篇文章《Spark这是要一统江湖的节奏》,介绍Spark创始人Matei最近在spark submmit上做了一次演讲,spark开始一统天下了。Spark 成名于用RDD在内存中计算替代了MapReduce的磁盘技术,批量计算场景下,十倍于MapReduce,不过现在spark已经开始朝深度学习和实时计算进军了。

讲到flink也挺有意思。本来欧洲就没有什么像样的大数据项目,这其中可能很大一部分原因是欧洲没有像美国一样成熟的风投,毕竟搞高科技不砸钱肯定是万万不能的。

比如spark是09年诞生在伯克利的AMPLab,13年开源称为Apache孵化项目,同时这帮实验室的老师学生就成立了databricks公司,去商业孵化spark,有了公司之后,spark就得到了快速发展。

欧洲经济不行,但是欧洲老牌高校的底子还是在的,flink作为研究项目其实比spark还要早一年,08年就是柏林理工大学的一个研究项目,但是明显开源运作和商业上要比spark慢很多,14年才称为Apache孵化项目。所以说欧洲的商业化环境要比美国差不少,欧洲的大老爷们也不操心赚钱的事情,起了个大早,赶了个晚集。

不过还好,点选的不错。14年孵化后,flink就避开spark在批处理,主打毫秒级实时流计算。当年spark和flink为了谁是真正的流计算引擎,还PK过很长一段时间。Spark方面还辩解说mini batch也是很牛的,而且万一技术不行,场景也是对的,大部分场景都需要高吞吐的实时计算吧,最新的2.2版本也还是打脸了,也开始支持毫秒级了。

技术只是其中一方面原因,商业生态才是决定因素。spark社区被databricks控制其实是非常严的,commiter/pmc基本都是他们自己人,flink 能搞起来的另外一个原因是大家不愿意看到databricks一家独大,登录flink的网站去看看,http://flink.apache.org,阿里巴巴,爱立信赞助公司等都在列。所以最近有人问,flink和spark好像思路都有点类似,都想一统天下,谁会赢。我说大概率类似开源数据库Postgresql和Mysql,都不会死。不过目前看spark确实还是技压一筹,spark的活跃度要高于flink,不过也别担心flink会不行。

好,这一篇就先扯一扯flink的历史,我不想一篇文章太长,看得累,分开来讲。后面讲讲flink相关的技术,内存管理,留处理引擎,watermark等。谢谢大家。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-06-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

数据分析软件市场的8大苗头,告诉你真正的大势所趋!

紧张精彩的2015年已经结束了,现在是时候回过头来看一看数据分析软件市场的潮流。 已经有几个趋势继续变得壮大(比如开源,云托管,基于Hadoop的SQL解决方案...

1808
来自专栏企鹅号快讯

8代酷睿迎新成员 i5-8500现身Sandra数据库

(原标题:永别牙膏!Intel主流六核升级:i5-8500首曝) 去年下半年,Intel发布了第八代酷睿Coffee Lake,一举将主流市场从多年的4+2核心...

1798
来自专栏互联港湾

新鲜出炉的混合云实战秘籍,快来抢先看!

752
来自专栏PPV课数据科学社区

大数据企业想要成为行业巨头的5个要素

Navin Chaddha是早期阶段风险投资公司Mayfield的总经理。这家公司目前正在投资的一些公司包括Gigya、Elastica、Lyft、MapR和P...

3284
来自专栏企鹅号快讯

电子商务“链”接未来(下)

保全网 BaoQuan.com 存证 增信 鉴真 关注微信号:区块链数据保全 ? 双十一、双十二一波购物热潮使得网络营销再度获得了空前的胜利成果,即将到来的“双...

1875
来自专栏IT技术精选文摘

Apache Kylin在绿城客户画像系统中的实践

前言 作为国内知名的房地产开发商,绿城经过24年的发展,已为全国25万户、80万人营造了美丽家园,并将以“理想生活综合服务提供商”为目标,持续为客户营造高品质的...

3888
来自专栏腾讯游戏云的专栏

云计算可以解决全球网络延迟问题

电子商务、社交通讯、视频直播、在线游戏,海量的互联网应用为我们的生活带来了更多精彩体验。随着网络和应用的优化,卡顿、缓冲、加载失败等糟糕体验似乎变得可以忍受,逐...

3977
来自专栏Spark学习技巧

Apache Kylin在绿城客户画像系统中的实践

1124
来自专栏java一日一条

成为聪明程序员必知的5个技能

软件开发人员在任何项目的架构和设计上起着非常关键的作用。当前的现代化架构世界需要现代化或聪明的开发人员,这些开发人员装备了各种务实的技能。了然于心,社会化以及聪...

542
来自专栏人称T客

英方软件挂牌,云灾备市场容量或将大爆发|新三板

成立于 2011 年 8 月 12 日的上海英方软件股份有限公司,于 2015 年 8 月 26 日完成股。2016 年 7 月 7 日成功登陆新三板。 200...

3244

扫码关注云+社区