Spark这是要一统江湖的节奏

Spark创始人Matei最近在spark submmit上做了一次演讲,看了内容会发现spark这是要一统江湖的架势,一起来看看都介绍了什么内容。

Spark一直以来想做的一个事情就是统一整个大数据分析引擎,高层易用的API是核心竞争力。

随着2.2版本出来,看起来又更进了一步。2.2版本重点搞了下面三件事:

1) CBO:争抢数据仓库市场,解决性能问题。

2) 流引擎:支持毫秒级流处理,解决了原来只能通过mini batch方式支持流,直接PK flink。

3) 支持python api:python易上手的特点,在很多领域一直有应用,最新的机器学习领域用的最多的也是这个。

在spark的规划中,Spark未来会在两个地方发力:深度学习和流处理。

深度学习还处在很初级的阶段,主要是想在tensorflow、keras、bigdl等机器学习引擎的基础上提供更易用和高层的API。

为了可以处理深度学习,提供了一个深度学习库。https://github.com/databricks/spark-deep-learning

流处理相对成熟,已经具备生成环境的能力,在2.2会正式商用。

Event-time processing(flink是通过watermark机制来搞定)和支持Exactly once很有意思,回头看下具体是怎么实现的。

下图是spark的流API和kafka流代码对比,明显spark要比kafka好用。

在演进最后吹了个牛逼,这个牛逼吹的响:“最早的现在也是最快的”。终于脱掉了流处理不行的帽子了。

Spark还是相当有前途,好好学吧。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

深度复盘GitHub发展史:如何在10年内改变了人们的编程方式?

编者按:前不久,微软以75亿美元的价格收购GitHub,引发了科技行业的关注。在短短的10年内,GitHub 改变了人们的编程方式。 不仅让编程变得更简单,还改...

750
来自专栏AI科技评论

干货 | 深度学习入门指北——从硬件到软件

AI科技评论按:近日,Rachel Thomas在fast.ai上发布了一篇博文《What you need to do deep learning》,他希望通...

2474
来自专栏机器人网

Windows 10会成为机器人的下一个系统吗?

微软曾多次表示,Windows 10可以在PC、平板电脑和手机上运行。现在,微软希望使Windows能在其他所有可以上网的设备上运行。微软当地时间周一公布了W...

2526
来自专栏云市场·精选汇

小程序日活已达2.8亿 ,数量突破百万 ,未来更大场景入口将被打开

2018年6月29日,阿拉丁发布2018年上半年小程序生态白皮书。数据显示,截止到2018年6月底,微信小程序的数量已经突破百万,相比1月初微信官方公布的58万...

1874
来自专栏安恒信息

仅1/3企业符合IOS信息安全标准

ISO27001是一项国际最佳操作标准,有助于降低网络风险。根据一家全球调研公司的数据,仅35%的高管与IT专家表示他们的组织符合ISO27001标准。40%的...

3287
来自专栏疯狂的小程序

2017小程序发展大事件和未来3大趋势分析

小程序风口的产生与移动互联网流量红利逐渐消逝关系密切。移动端用户的争夺,已从增量市场转向存量市场,从抢占用户转向抢占用户时间。然而,却有一块尚未完全开化的巨大流...

3329
来自专栏知晓程序

10 个时刻,带你看懂小程序的 2017 年

到 2018 年 1 月 9 日,小程序就上线一周年了。为此,知晓程序推出小程序上线一周年系列文章。

912
来自专栏FreeBuf

从Facebook、百度“隐私门”看企业对用户隐私保护的责任何在

事件被曝光后,Facebook的用户们感到愤愤不平,在社交网络上甚至引发了一场#DeleteFacebook的运动,呼吁大家删除facebook账号。运动也受到...

842
来自专栏知晓程序

各大 App 直接打开小程序!微信收割移动互联网的时间开始了

1073
来自专栏罗超频道

微软转型难点在于软件模式

8月底,微软CEO史蒂夫•鲍尔默(Steve Ballmer)决定在一年内退休。微软已成立包含比尔·盖茨在内的特别委员会,协调鲍尔默退休前的工作,在公...

2787

扫描关注云+社区