大数据应用的下一阶段发展方向在哪里?

原文标题:What's next for big data applications?

作者:Evangelos Simoudis

来源:https://www.oreilly.com/ideas/whats-next-for-big-data-applications

译者:核子可乐

转自:51CTO.com

  时至今日,我们的数据管理能力日益提升,但数据分析能力则相对落后。尽管工具与流程皆已齐备,但仍然缺少充足的数据科学家人员。在今天的文章中,我们将专注于能够交付实际分析结论的大数据应用,同时追踪其发展及当前状态,最终借此窥探大数据技术的未来发展方向。

早期大数据技术采纳方指明令人感兴趣的跨行业发展可能性

  根据2012年《福布斯》杂志发表的文章,早期大数据技术采纳方主要来自金融服务、电信、制造(特别是消费级产品)以及政府领域。

  早期采纳方在起步阶段会使用其新近安装的大数据基础设施(例如HDFS、MapReduce以及NoSQL数据库等等)以实验各类新型应用。根据 Pacific Crest公司收集到的数据,各早期采纳方往往希望利用这些方案处理数据中心日志信息(包括服务器、路由器以及各类物联网传感器等),旨在实现网络分析与 IT系统性能监控。在此基础之上,亦有相当一部分企业尝试利用大数据技术进行财务数据(欺诈检测)与Web数据(情感分析以实现个性化体验)分析。

表1 大数据应用早期实验方向

用例

早期采纳方比例

网络分析

29%

IT系统日志分析

28%

传感器数据分析

19%

Web行为数据分析

16%

基因组数据分析

9%

社交媒体情感分析

6%

欺诈检测

6%

  初步实验对于了解大数据基础设施收益、潜力与不足之处非常重要。然而根据CapGemini于2014年发布的报告,试水性实验的成功比例并不算高。其失败原因主要有三:

  1. 将数据分散在多个不同团队中,因此访问难度较原始设计更高。
  2. 数据被安置于遗留系统当中,导致将其导出至大数据基础设施变 得非常困难。
  3. 缺少统一而明确的全局性数据管理与数据分析方案,这使得工作人员难以从数据内提取信息。

而随着此类问题的一一克服,近来我们发现成功案例 变得愈发普遍。事实上,目前全球各地对于大数据基础设施及其附加方案的兴趣都呈现出快速升温之势(见图一)。

图一 各行业与地区大数据投入数据

企业客户持续投资给初创公司带来可观的风投支持积极性

  企业向大数据技术投入的资金呈现增长之势。根据NewVantage指出,受访企业中有27%表示其将在2017年之前向大数据项目投入超过5000万美元资金。而在2014年面向同样企业对象的调查中,这一比例仅为5.4%。

  目前,价值万亿美元的行业,包括医疗卫生、保险、农业、能源、医药、教育、汽车、运输以及物流等等,都在积极探索如何利用大数据利器解决自己面临的 现实难题。举例来说,汽车制造商希望分析消费者的信息娱乐选择以提供更理想的车载信息娱乐体验,同时亦需要分析车辆性能数据以提供预防性维护建议。另外, 无线运营商也希望了解消费者如何使用其数据,从而更好地提供内容并实现营收。

  考虑到以上提到的企业投资与变革力度,风险投资商们则更为积极地为大数据初创企业提供资金,如图三所示。单在2015年年内,风投方为大数据初创企业提供的资金总额就高达67亿美元,超过2014年的60亿美元。

图二 截至2016年2月大数据应用总体态势图

  出于同样的理由,大数据初创企业也开始迎来一波收购浪潮。其中包括AOL收购Convertro,谷歌收购Adometry,苹果收购 Topsy,Teradata收购Aster Data与Think Big Analytics,Salesforce收购Edgespring等等。最近,我们还见证了微软收购Revolution Analytics,HDS收购Pentaho以及Advance收购1010Data。除此之外,小规模收购亦层出不穷,包括Amazon收购 Amiato等。

  如图二所示,目前风投方的主要关注重点在于大数据基础设施与工具。尽管基础设施与工具部署同样显示出旺盛的生命力,但这里我们姑且将注意力集中在大数据应用身上。

大数据应用的崛起

  信息技术中的每个新兴领域(例如商务智能、客户端/服务器计算、云计算以及移动计算等)通常都需要经历三个发展阶段:

  • 基础设施部署。在大数据领域,此类基础设施负责对数据进行存储、管理、移动与传输。
  • 工具部署。在大数据领域,此类工具用于搜索并分析各种形式的大数据并呈现处理结果。
  • 应用程序引入,通常将基础设施与工具转化为实际功能。

  遵循这样的分阶段实现方式,众多大型企业已经开始部署大数据基础设施与多种工具,旨在分析收集到的海量数据。

  由于我们已经进入应用开发与部署阶段,因此最重要的是着眼于具体软件。截至目前,我们已经发现了三种主要大数据应用类型:

1.浅层应用,包括执行客户流失分析并围绕通用型分析工具进行开发(例如Dataminr与DataRobot等)。 这些应用由数据科学家负责支持,从而执行经过严格定义的任务流程。这些应用通常只能在运行基础之上提供浅层分析能力。这些由分析模型与报告机制驱动的应用 由数据科学家及服务专家进行开发与维护——他们往往来自管理咨询企业,且充分理解相关业务领域及最终用户需求。最终用户通常为商业分析师。

2.应用能够处理大数据,但无法实现任何形式的预测或预测性分析(例如Socrata及Zuora)。 这类应用可能面向水平或垂直体系,其能够为最终用户——主要为商业分析师——提供理解数据并形成结论报告的能力。作为实例,纽约市就利用Socrata系统创建财务报告。

3.具备嵌入式预测性分析的应用。此类应用未来将分为以下两种类别。

  1. 包含预测模型,并由数据科学家负责开发与定期更新。这意味着应用供应商必须拥有强大的服务能力以支持软件功能。此类应用包括AgileOne、OPower、Zephyr Health、Duetto以及DataXu与MediaMath等在线广告应用方案。
  2. 所使用的预测模型可由应用本身自动构建。此类应用厂商包括Oration与Namogoo。

归属于这一类别的应用可能面向横向(例如AgileOne与Namogoo)或垂直领域(例如OPower、Duetto或者Oration)。

  这三种大数据应用类型可被视为应用领域的开创者,如今以其为基础又有第四种见解型应用开始出现。之前提到的第三种应用同见解型应用最为接近,但二者间又存在着重要差异:其能够做出预测,但无法形成见解。换言之,第三种应用无法根据预测结果执行对应操作。相反,它们依赖于用户来识别特定预测结果并执行对应行为。

总结

  尽管仍然面临多种障碍(每一种新兴技术在出现后都必须面对挑战),但大数据的早期采纳方已经在相关项目当中积极投资,并将其部署至企业业务系统当中 以解决各类关键性难题。为了实现大数据的跨行业处理潜能,各风险投资方都在积极为大数据初创企业提供援助,希望其解决方案能够为大型企业客户所采纳。考虑 到已经陆续出现的大量大数据基础架构及部署分析工具,多数企业开始将注意力转向大数据应用程序。我们确定的这三种具体类型涵盖了相继出现的各类新型大数据应用。其中一些能够提供预测结论,但却无法实现见解与实际行动,这亦是大数据应用尚未彻底发展成熟的主要标志。在未来的文章中,我们将深入探讨见解型应用 ——即第四类亦是最具发展前途的大数据应用类型。

END

版权声明:

转载文章均来自公开网络,仅供学习使用,不会用于任何商业用途,如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜,联系邮箱:holly0801@163.com。转载大数据公众号文章请注明原文链接和作者,否则产生的任何版权纠纷与大数据无关。

原文发布于微信公众号 - 大数据(hzdashuju)

原文发表时间:2016-05-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DevOps时代的专栏

业务安全-DevSecOps 的催化剂

前言 DevSecOps的困境 产品鄙视研发,研发又鄙视运维,运维呢又鄙视安全。 ? 业务和产品说:不是我设计这么好的业务产品,你研发再牛也没用,测试、运维、安...

27250
来自专栏云计算D1net

在云计算数据基础上构建技术层

18840
来自专栏PPV课数据科学社区

【学习】云计算名人语录

云计算这几年编程了烫手山芋,人人都说与计算,估计菜市场的大妈要快指导云计算了。不管什么东西都要报上云计算的华丽外衣,下面是前几年的大人物们对云计算的一句话描述,...

32060
来自专栏大数据文摘

谁拥有数据的决策权?首席执行官还是首席信息官?

22040
来自专栏数据猿

天云数据副总经理李从武:大数据实践三部曲

<数据猿导读> 2016中国信息大数据通信大数据大会在京召开,天云数据副总经理李从武在大会上发表了以“大数据实践三部曲”为主题的演讲。他主要格局整个大数据从平台...

22130
来自专栏喔家ArchiSelf

老曹眼中研发管理二三事

这是在gitchat上的第一次分享,中生代联手gitchat在做研发管理的专题活动,作为先锋,抛砖引玉。

9610
来自专栏新智元

AI赋能开发者?微软用边缘计算解决问题,谷歌FB亚马逊却主要卖广告 | Build 2017

【新智元导读】 2017年微软开发者大会(Build),人工智能自然成为最大看点。新智元受邀全程参加了微软本年度的Build大会,带来大会盛况的现场直击。如果用...

36060
来自专栏java一日一条

年薪百万,原来Java大数据才是真正的高富帅!

大数据时代,中国IT环境也将面临重新洗牌,不仅仅是企业,更是程序员们转型可遇而不可求的机遇。

10920
来自专栏企鹅号快讯

前端周记 2017 年终总结

2016年末的时候,给自己定了个小目标——2017年每周发布一篇前端相关的文章。于是时间很快到了今天——2017年的最后一周最后一天了——发布最后一篇文章。 算...

23450
来自专栏飞雪无情的博客

团队管理不可或缺的知识库

刚入职新公司,HR领到位置上,茫然四顾不知道做什么,如果有分配的导师,还可以咨询一下。但是你咨询的时候,导师吧啦吧啦给你说一大堆,还没什么条理,听你的一阵头大,...

22420

扫码关注云+社区

领取腾讯云代金券