Spark这是要一统江湖的节奏

Spark创始人Matei最近在spark submmit上做了一次演讲,看了内容会发现spark这是要一统江湖的架势,一起来看看都介绍了什么内容。

Spark一直以来想做的一个事情就是统一整个大数据分析引擎,高层易用的API是核心竞争力。

随着2.2版本出来,看起来又更进了一步。2.2版本重点搞了下面三件事:

1) CBO:争抢数据仓库市场,解决性能问题。

2) 流引擎:支持毫秒级流处理,解决了原来只能通过mini batch方式支持流,直接PK flink。

3) 支持python api:python易上手的特点,在很多领域一直有应用,最新的机器学习领域用的最多的也是这个。

在spark的规划中,Spark未来会在两个地方发力:深度学习和流处理。

深度学习还处在很初级的阶段,主要是想在tensorflow、keras、bigdl等机器学习引擎的基础上提供更易用和高层的API。

为了可以处理深度学习,提供了一个深度学习库。https://github.com/databricks/spark-deep-learning

流处理相对成熟,已经具备生成环境的能力,在2.2会正式商用。

Event-time processing(flink是通过watermark机制来搞定)和支持Exactly once很有意思,回头看下具体是怎么实现的。

下图是spark的流API和kafka流代码对比,明显spark要比kafka好用。

在演进最后吹了个牛逼,这个牛逼吹的响:“最早的现在也是最快的”。终于脱掉了流处理不行的帽子了。

Spark还是相当有前途,好好学吧。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

工程师进阶,对程序员影响最大的十本书

一个新人进入公司,经过最开始的快速成长,慢慢的业务开始得心应手,但是挑战越来越少,重复的内容变多, 技术的广度和深度都难继续提高,这时候很容易就进入一个平台期。...

1849
来自专栏微信公众号:Java团长

如何快速成长为技术大牛?阿里资深技术专家的总结亮了!

导读:你是否有类似这样的问题——“天天写业务代码的程序员,怎么成为技术大牛,开始写技术代码?”今天,阿里资深无线开发专家李运华,系统梳理了自己的思考和理解,希望...

892
来自专栏葡萄城控件技术团队

中国电建:ComponentOne+Spread突破行业桎梏,推动数据产业“智能化”变革

中国电建集团北京勘测设计研究院有限公司(简称:北京院)始建于1953年,是大型综合性勘测设计研究单位,现为中国电力建设集团有限公司(世界500强企业)的全资子企...

1654
来自专栏牛客网

今日头条:前端一到四面面经

个人在牛客上看了不少面经,也刷了不少题,受益颇多,自己现在拿到了心仪的offer,也写一波面经,回馈一下社区。 我是走的内推的途径,内推途径很好找,我会在文尾放...

6467
来自专栏程序猿

大数据与云计算学习与就业

云计算和大数据现状不说了 学习BigData和Cloud,需要学习这些基本的技能与知识: 大数据Java基础 大数据Linux基础 大数据网络基础, Pytho...

3968
来自专栏吉浦迅科技

AMD发布APPML源码,构建clMath库

APPML(Accelerated Parallel Processing Math Library )和Bolt(C++ template librar...

32712
来自专栏木东居士的专栏

《数据仓库实践》

2347
来自专栏编程坑太多

小白入职公司都是自己看,嫌弃增删改查,做了2年感觉没前途?

迷茫期间就学英语吧,这东西技多不压身,能通读文档和论坛算是出师,能无障碍日常交流算是小成,能总结并汇报算是大成。

1234
来自专栏ThoughtWorks

不做代码审查又怎样?| TW洞见

今日洞见 文章作者/配图来自ThoughtWorks:王健。 本文所有内容,包括文字、图片和音视频资料,版权均属ThoughtWorks公司所有,任何媒体、网站...

3267
来自专栏程序员互动联盟

如何成为一个C++高级程序员

 C++这门语言从诞生到今天已经经历了将近30个年头。不可否认,它的学习难度都比其它语言较高。而它的学习难度,主要来自于它的复杂性。现在C++的使用范围比以前已...

3166

扫码关注云+社区