Spark这是要一统江湖的节奏

Spark创始人Matei最近在spark submmit上做了一次演讲,看了内容会发现spark这是要一统江湖的架势,一起来看看都介绍了什么内容。

Spark一直以来想做的一个事情就是统一整个大数据分析引擎,高层易用的API是核心竞争力。

随着2.2版本出来,看起来又更进了一步。2.2版本重点搞了下面三件事:

1) CBO:争抢数据仓库市场,解决性能问题。

2) 流引擎:支持毫秒级流处理,解决了原来只能通过mini batch方式支持流,直接PK flink。

3) 支持python api:python易上手的特点,在很多领域一直有应用,最新的机器学习领域用的最多的也是这个。

在spark的规划中,Spark未来会在两个地方发力:深度学习和流处理。

深度学习还处在很初级的阶段,主要是想在tensorflow、keras、bigdl等机器学习引擎的基础上提供更易用和高层的API。

为了可以处理深度学习,提供了一个深度学习库。https://github.com/databricks/spark-deep-learning

流处理相对成熟,已经具备生成环境的能力,在2.2会正式商用。

Event-time processing(flink是通过watermark机制来搞定)和支持Exactly once很有意思,回头看下具体是怎么实现的。

下图是spark的流API和kafka流代码对比,明显spark要比kafka好用。

在演进最后吹了个牛逼,这个牛逼吹的响:“最早的现在也是最快的”。终于脱掉了流处理不行的帽子了。

Spark还是相当有前途,好好学吧。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

一文读懂大数据:Hadoop,大数据技术及相关应用

你想了解大数据,却对生涩的术语毫不知情?你想了解大数据的市场和应用,却又没有好的案例和解说?别担心,这本来自Wikibon社区的小书想要帮你。

1022
来自专栏Java架构师学习

如何从一个优秀的Java程序员变成一个高薪架构师

做了4年的java程序员,一直考虑以后的发展方向。感觉不适合走管理路线的人,所以考虑继续在技术方面深入下去。 相信好多程序员都有相同的感觉,做了好多年代码民工,...

2905
来自专栏Java技术交流群809340374

高级程序员到底强在哪里?

说起程序员人们的第一印象就是工资高、加班凶、话少钱多头发少。再加上现在科技互联网公司太吃香,bat、华为小米等公司程序员加班情况被广泛传播,程序员用生命在敲代码...

1600
来自专栏腾讯Bugly的专栏

【Dev Club 讨论】聊一聊微信“小程序”

Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师。定期会举行嘉宾分享,话题讨论等活动。 本期讨论话题为:聊一...

3636
来自专栏杨建荣的学习笔记

对待运维平台,要有「疯狗」一样的执行效率

从去年发起里程碑来做自动化平台的事情到现在,已经几个月过去了。在这段时间里,其实我的心态是很焦灼的。 其实从很多维度来说,做运维平台的事情,从不明朗的需求和定位...

3515
来自专栏Web 开发

问卷星?问卷网?还是腾讯问卷

在学生年代,我们肯定都被老师、团委、学生会坑过去做问卷调查。我们会以什么形式来收集我们所需的数据呢?是打印传单,扫楼这种传统形式?还是通过问卷星、问卷网等电子环...

2.1K1
来自专栏华章科技

1个月只敲1天代码,拿着全额薪资,我错了吗?

每周工作2小时,相当于1个月只上1天班,拿全薪。公司从来没有表示他们对我的表现不满意。他们从雇用我中得到了他们想要的,而我还可以在家陪陪儿子。不告诉老板,有错吗...

762
来自专栏钱塘大数据

大数据时代:十大最热门的大数据技术

随着 大数据分析 市场快速渗透到各行各业,哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数,这里给出最热的十个大数据技术。 预测...

2956
来自专栏钱塘大数据

【盘点】云计算的8项核心技术

1、虚拟化技术 虚拟化是云计算最重要的核心技术之一,它为云计算服务提供基础架构层面的支撑,是ICT服务快速走向云计算的最主要驱动力。可以说,没有虚拟化技术也就没...

4376
来自专栏SDNLAB

MEF、TM论坛携手运营商促进LSO API标准化

MEF、TM论坛正在与多个服务提供商合作,致力于标准化生命周期服务编排(LSO)应用程序编程接口(API),以跨多个网络协调服务。 ? 参与LSO API标准制...

34611

扫码关注云+社区