Apache Spark新方向:深度学习和流式数据处理支持

6月5~7日,Spark Summit 2017 在美国旧金山举行。来自 Databricks 的 Matei Zaharia、Michael Armbrust 和 Tim Hunter 分享了 《Expanding Apache Spark Use Cases In 2.2 And Beyond》,介绍了 Spark 目前的重点开发方向,特别是对深度学习和流式数据处理的支持。

Apache Spark 的哲学:大数据应用的统一引擎;高层次、用户友好的 API。

Spark 2.2 将提供的新特性:Structured Streaming 已经进入 production-ready 状态。

Databricks 两大新的开源努力方向。

深度学习方面:

Structured Streaming 方面:

参考资料:

1.幻灯片:https://www.slideshare.net/databricks/expanding-apache-spark-use-cases-in-22-and-beyond-with-matei-zaharia-and-demos-by-michael-armbrust-and-tim-hunter

2.视频:https://www.youtube.com/watch?v=qAZ5XUz32yM&index=1&list=PLTPXxbhUt-YV6RdCNARfSKs3-3Old6XTk

END.

来源: 开发资讯

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2017-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯大数据的专栏

相比Hadoop,如何看待Spark技术?

之前看Spark的评价,几乎一致表示,Spark是小数据集上处理复杂迭代的交互系统,并不擅长大数据集,也没有稳定性。但是最近的风评已经变化,尤其是14年10月他...

18590
来自专栏智能计算时代

IBM open-sources machine learning SystemML

IBM is aiming to popularise its proprietary machine learning programme SystemML ...

27480
来自专栏CDA数据分析师

Spark为什么能成为大数据分析主流工具?

一.Spark是什么 Spark是伯克利大学2009年开始研发的一个项目,它是大数据时代下的一个快速处理数据分析工作的框架。spark发展十分迅速,2014年,...

51750
来自专栏大数据技术学习

大数据学习过程中需要看些什么书?学习路线

很多朋友对大数据行业心向往之,却苦于不知道该如何下手。作为一个零基础大数据入门学习者该看哪些书?今天给大家推荐一位知乎网友挖矿老司机的指导贴,作为参考。

49830
来自专栏人工智能头条

3位Committer,12场国内外技术实践,2016中国Spark技术峰会议题详解

24350
来自专栏鸿的学习笔记

Shark,Spark SQL,Spark上的Hive以及Apache Spark上的SQL的未来

随着Spark SQL和Apache Spark effort(HIVE-7292)上新Hive的引入,我们被问到了很多关于我们在这两个项目中的地位以及它们与S...

13420
来自专栏CSDN技术头条

Spark一出,Hadoop必死?Spark才是大数据的未来?

最近公司邀请来王家林老师来做培训,其浮夸的授课方式略接受不了。其强烈推崇Spark技术,宣称Spark是大数据的未来,同时宣布了Hadoop的死刑。 那么与Ha...

26380
来自专栏风火数据

教你如何成为Spark大数据高手

Spark目前被越来越多的企业使用,和Hadoop一样,Spark也是以作业的形式向集群提交任务,那么如何成为Spark大数据高手?下面就来个深度教程。

14310
来自专栏about云

spark与hadoop相比,存在哪些缺陷(劣势)

一说大数据,人们往往想到Hadoop。这固然不错,但随着大数据技术的深入应用,多种类型的数据应用不断被要求提出,一些Hadoop被关注的范畴开始被人们注意,相关...

41960
来自专栏我是攻城师

相比Hadoop,如何看待Spark技术?

28750

扫码关注云+社区

领取腾讯云代金券