大数据研究报告:Spark最受欢迎,机器学习库MLib采用率持续上涨

使用大数据分析;Spark,MapReduce和Yarn是当今最流行的三种大数据框架;机器学习继续获得更多的行业支

持和投资计划,Spark Machine Learning Library(MLib)的采用率预计在未来12个月内将增长60%。

大数据

Crowds®系列研究中的一部分。这个系列报告将大数据分析定义为最终用户能够访问、分析和管理Hadoop生态体系

中数据的一套系统,连续第三年考察与分析了大数据分析最终用户的使用趋势与使用意图。

大数据学习群:716581014

1. 使用大数据的公司比例首次超过50%

大数据分析增长趋势

目前,正在使用大数据的公司比例从2015年的17%迅速增长至53%,首次超过了50%。另外有36%的受访者表示未来

会使用大数据分析,仅仅有11%的受访者表示暂时没有使用记录(这是近三年来历史最低)。电信与金融服务公司大

数据分析服务最活跃的早期应用者,也是增速最快的行业,接下来的是科技与医疗行业,而教育行业的大数据应用者

占比最低。但是,大部分的教育公司正在评估是否使用大数据分析。

大数据分析在各个行业的使用状况

2. 数据仓库优化被认为是大数据分析最主要的使用场景

大数据分析使用场景

数据仓库优化被认为是大数据分析最主要的使用场景,70%的受访者认为数据仓库优化是重要或非常重要。客户/社交

分析与预测是排在第二位的使用场景,预测与维护排在第三位。很有趣的是,在物联网(IoT)领域,大数据分析似乎

并不是那么重要。在行业中大数据分析使用场景差别很大,在金融服务和电信行业中,数据仓库优化是主要使用场

景,欺诈检测应用比例也较高,而科技公司则主要使用大数据分析进行医疗保健和客户/社交分析。

各行业主要使用场景

3. Spark是最受欢迎的的数据框架,SparkSQL是最受欢迎的大数据访问方式

大数据框架

Spark成为最受欢迎的大数据框架,超过70%的受访者认为Spark重要或非常重要,排在二三位的是MapReduce和

Yarn。在大数据访问方式上Spark SQL、Hive、HDFS和Amazon S3最受欢迎。73%的受访者认为Spark SQL对他们

的分析策略至关重要, 而超过30%的受访者认为Hive和HDFS也很重要。 作为五大数据访问方式之一的亚马逊S3也具

有较高认可程度。

大数据访问方式

4. MLib将主导整个机器学习

机器学习继续获得更多的行业支持和投资计划,Spark 机器学习库(Spark Machine Learning Library,MLib)当前

意46%使用率排在首位。在接下来的12个月里,这一数字有望增长60%到72%。未来两年将主导整个机器学习。

机器学习框架使用分布

大数据学习可以加群:716581014

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

关于机器学习,你所知道的,可能都是错的

虽然机器学习已经成为一个高频名词,但是对于大众而言,它依然是一个遥不可及乃至模糊不清的概念。为此,著名投资人 Benedict Evans 在自己的博客上发表博...

10920
来自专栏企鹅号快讯

量子技术与人工智能:同时进化的双生子

诞生于 1965 年的摩尔定律,对二十世纪后半叶的世界经济增长做出了巨大贡献,并驱动了一系列科技创新和经济增长。摩尔定律预测集成电路上晶体管的数量每两年翻一倍,...

238100
来自专栏大数据文摘

业界 | 尴尬了,数据故事讲不好,模型再酷炫都没用

导言:数据科学风靡了几年,已经完成了从普及到应用的商业落地,越来越多的公司都已经同意数据驱动战略的重要性,但雇几个数据科学家和有一个数据团队,并不等同于公司就能...

7900
来自专栏AI科技评论

开发 | 数据咨询师经验之谈:90% 的公司并不需要机器学习

AI科技评论按:掌握一件工具之前,首先要搞清楚用它做什么。而本质是工具的机器学习,近年来逐渐演变成一股潮流。 在美国企业数据方案咨询师 Eric Brown 看...

399140
来自专栏新智元

【Google.AI+AutoML】谷歌I/O重磅发布第二代TPU,Pichai主旨演讲

【新智元导读】18日凌晨,谷歌一年一度的开发者大会I/O拉开帷幕,其CEO Sundar Pichai发表主旨演讲。重磅发布了谷歌第二代TPU和 Cloud T...

37370
来自专栏北京马哥教育

原创投稿:想做IT大神,这些事你做到了吗?

云豆贴心提醒,本文阅读时间4分钟 各位朋友大家好!这次想跟大家聊聊怎么在IT行业混的好起来。 为什么会有这个想法呢? 是因为现在的工作让我感觉到自己能力太欠佳...

39570
来自专栏AI科技评论

深度丨CES现场采访联想CTO芮勇:我在联想做的 AI 项目,以及对人工智能的看法

AI 科技评论按:芮勇博士自 11 月初正式公布去联想担任 CTO 后很少公开发声,而在今日的 CES 2017 现场中,AI 科技评论等媒体对联想集团高级副总...

39270
来自专栏新智元

【重磅】深入Facebook 两大AI核心部门,欲用开放垄断市场

【新智元导读】Facebook的“十年路线图”,人工智能成为重中之重。作为“后来者”的Facebook凭何赶超谷歌和微软等在人工智能已经遥遥领先的公司?本文深入...

35280
来自专栏Material Design组件

About Face 4 第二章(3)访谈并观察用户

34370
来自专栏PPV课数据科学社区

【译文】传播学中的大数据:发展与不足

? 作者:Malcolm R. Parks 当我决定为《传播学日报》写一个特别的关于大数据的主题时,我心中有两个目标。一个是为大众传播,图像技术,政治交流,健...

37180

扫码关注云+社区

领取腾讯云代金券