【短文】Spark危机与机遇杂谈

MLFlow

昨天发了一篇文章Spark团队新作MLFlow 解决了什么问题 描述了我对MLFlow的一些看法,现在想来,Spark团队是非常聪明的,AI同学都有自己的社区,自己的生态,Spark则是在工程研发群体具有很大的影响力,而在AI领域并没有太大号召力。所以它其实是没办法通过一个颠覆性的东西去让AI同学转移过来的,而MLFlow并没有改变AI同学的原有习惯和流程,他提供了一些辅助工具和标准,解决了一些痛点,慢慢渗透,从而实现慢慢转型,当然,最后也完全可能也掀不起什么波澜。

Spark光鲜背后的挑战

第一个便是AI浪潮崛起,对Spark即是危机也是机遇。DB现在一直宣称自己是一家AI公司,不过你可能会好奇,为什么Spark背后的DB公司不好好固守数据处理方面的优势,而不断尝试转型AI呢? 刨去整个资本市场和技术浪潮不谈,其实最大的问题是未来必然是AI框架倒推数据处理框架。AI框架很可能衍生出适合自己的数据处理框架,比如tensorflow,对tf.data 进行了很大的增强,方便做数据处理。如果Spark不主动出击,未来会很被动。

第二个就是流式了,随着流式时代的来临, 而在此之前Spark 在流式领域一直不紧不慢,加固在批处理方面的优势的同时也丧失了流领域的先机,很多公司(尤其是云公司,比如阿里云,华为等)都转向flink。 这也使得Spark在传统数据处理领域不断遭受新的挑战。(我在16年的时候,就不断强调流式计算的重要性,比如这篇文章数据天生就是流式的,为此还专门建立了一个专题,感兴趣的同学可以看看)

步履日渐沉重

Spark还提了一个 Hydrogen 设计,从而使得Spark能够更好的结合深度学习框架。从某种角度而言是顺应形势,但其实是在转型AI的情况下不得已而为之。

依然是王者

Spark 依然是我用过最好用的工具,依然有最好的生态。基于它之上,做很多事情会变得很轻松。

后话

其实我觉得和AI进行适配,不一定是朝着整合AI框架的方向发展。前面我们提到未来必然是AI框架倒推数据处理框架,只要让Spark能够更好的为AI做数据预处理,成为事实标准,并且适配主流AI框架,那么Spark必然会有一个新的护城河。最简单的例子,Spark 2.3 已经支持图片处理了,但是其实还是蛮多问题的,是可以做的更好的,比如是否提供一些方法直接把一张图片读取成一个hwn的张量(这种是可以直接喂给常见的深度学习算法的)。另外能不能支持张量输出? 总之最好的策略其实是压缩AI框架的边界,保证Spark在数据处理方面的绝对垄断地位。我在实际使用中发现,很多数据预处理,Spark目前做起来是不方便的,非得用AI算法库的函数。

当然,还有就是加速流的发展,并且加大这方面的宣传和投入,确定在数据处理第二阶段依然能够保持领先优势。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏灯塔大数据

原创译文 | AI正在突破世界性的难题:流浪者、恐怖主义和物种灭绝

导读:通过AI,我们的人群社会网络能够覆盖试点范围内70%的青年,而现有的常规技术只能达到25%。对比传统的技术,在传播艾滋病信息方面,AI算法可以将信息传递给...

4014
来自专栏镁客网

AI巨头实力排名新鲜出炉:DeepMind第一,IBM垫底

3043
来自专栏量子位

对话搜狗口语机器翻译团队:全球夺冠只为验证技术,更看重落地商用

在今年的国际顶级口语机器翻译大赛IWSLT上,搜狗战胜科大讯飞、阿里等众多国内外好手,一举夺魁。

1243
来自专栏AI科技评论

动态|洛杉矶加大(UCLA)发明智能医疗助手,人工智能将重塑医疗领域吗?

AI科技评论按:本文由图普科技工程师翻译自《Artificial intelligence virtual consultant helps deliver b...

3198
来自专栏AI科技大本营的专栏

专访 | 今日头条李磊:顶级AI专家是不分学校和背景的,年轻人要有自己的判断

今日头条科学家、人工智能实验室总监 李磊 文 | 鸽子 李磊博士是今日头条人工智能实验室(Toutiao AI Lab)总监,原百度美国深度学习实验室“少帅科学...

7587
来自专栏人工智能快报

谭铁牛院士谈人工智能发展新动态

◆ ◆ ◆ ◆ 11月25日,模式识别与人工智能学科前沿研讨会在自动化所召开。会上,谭铁牛院士做“人工智能新动态”报告,回顾了近代以来历次科技革命及其广泛影响,...

3536
来自专栏量子位

李飞飞谈AI:现在是入行好时机,人工智能+医疗有怎样的机会?

陈桦 编译自 ACM 量子位 报道 | 公众号 QbitAI 最近,李飞飞关于人工智能的一些看法,发表在了国计算机协会(ACM)的官方网站的“People of...

5296
来自专栏新智元

DeepMind 是全球 AI 领域 No. 1?一文看懂巨头实力

【新智元导读】Google Brain的Eric Jiang昨天在Quora回答提问,分析了谷歌、微软、Facebook、IBM等巨头间的AI实力,引用最新例子...

3238
来自专栏腾讯技术工程官方号的专栏

世界人工智能大会 | 腾讯攻坚AGI,与机器人配合,推医疗全链条

? 黄浦江畔,人工智能界大咖云集。2018世界人工智能大会9月17日拉开大幕。9月18日,腾讯在上海余德耀美术馆主办一场主题为“AI无界 智未来”的人工智能分...

2133
来自专栏VRPinea

1.22 VR扫描:生产简化,第二代HTC Vive或将更便宜更耐用

34910

扫码关注云+社区

领取腾讯云代金券