高管人员对大数据现状的看法

本文在新版《DZone大数据指南:数据科学和高级分析》中提供。获取更具洞察力的文章,行业统计数据,以及更多资讯!

为了更深入地了解大数据的现状,我们与来自20家公司的22位高管进行了交流,他们本身在大数据领域工作或为客户提供大数据解决方案。以下是与我们交流过的人:

剑桥科技企业公司企业解决方案副总裁Nitin Tyagi

Cloudera高级营销经理Ryan Lippert

Cloudera高级产品营销经理Sean Anderson

Coho Data产品营销高级经理Sanjay Jagad

数据转换实验室(DCL)首席运营官艾米威廉姆斯

Datameer市场战略和情报高级总监Andrew Brust

Experian DataLabs执行副总裁Eric Haller

InterSystems公司数据平台全球产品营销经理朱莉Lockner

Kinetica全球工程副总裁Eric Mizell

Kentik战略联盟副总裁Jim Frey

Liaison首席营收官Rob Consoli

MapR工业解决方案高级总监Dale Kim

MPP Global首席技术官Chris Cheney

SAP产品和解决方案营销高级总监Amit Satoor

Sisense产品负责人Guy Levy- Yurista

Snowflake Computing产品和营销副总裁Jon Bock

SUMOHeavy首席技术官Bob Brodie

TARGIT欧洲,中东和非洲专业服务总监Kim

VoltDB产品营销总监Dennis Duckworth

Waterline Data创始人兼首席执行官Alex Gorelik

Waterline Data首席营销官Todd Goldman

World Programming的总监兼联合创始人Oliver Robinson

以下是我们在交流中的主要发现:

成功部署大数据战略的关键之一是在使用软件和其他工具之前先了解你所要解决的问题。如果不清楚要解决的问题和解决的目标,你就不能确定使用什么软件或者工具来实现目标。另一关键也与第一点密切相关,即你探索的解决方案以及你要为企业带来的价值。你越清楚企业需求和问题所在你就越有可能解决它。追求“大数据”策略将花费很多时间和金钱,因为你要搜集大量的数据,大数据的提议并不廉价,因此请确定具体的使用场景,执行解决方案,充分挖掘使用价值,然后寻找下一个使用场景。

80%没有从大数据中获益的公司可以从战略规划下手,知道如何处理你收集到的信息、你寻求的解决方案,数据的来源,并理解数据清理和预处理,然后才能与其他数据整合。授权组织中的其他人访问数据。最终你希望希望能够在公司的各层提供实时决策; 但是,在实现此目标之前,你需要实现几个成功案例。就像我们先爬行,再走路,然后跑步。

过去一年中大数据的最大变化是实时数据流和可以处理大规模数据的机器的增加。数据流是大数据战略的一部分,有助于打破信息孤岛。借助机器学习和自然语言处理,大数据随处可用。至少有一家公司已经使他们的客户能够使用Alexa和自然语言处理来应对他们数据的查询,并从大量数据中获得解决方案。

Hadoop,Spark和Tableau是最常被提及的基于Hadoop的收集和分析数据的方案。一些受访者提到了像Kafka,Nitti和Storm这样的开源方案,并认为Python和R是用于数据分析的利器。SAS曾经拥有垄断分析工具,但在过去的12个月里,随着更多人使用R和H2O,这种情况已经发生了变化。然而,这并不代表着SAS的终结,因为它仍在财富500强中占据99%的份额。

当谈及大数据在现实中的应用场景,零售,医疗保健,媒体和电信是四个最常被提到的行业。其实,大数据在金融服务,政府,IT和车队管理也有所应用。在医疗保健和金融服务领域,大数据正用于识别病人关怀、客户关怀,金融诈骗和医疗手段的滥用。自然语言处理能监测并报告用户在社交媒体中透露的情绪,从而帮助电信运营商、零售商、CPG制造商和制药公司了解用户的想法、预测未来趋势和获得更大的利益。零售商聚焦于将多设备和实体店个性化,以提供更好的客户体验。

缺乏熟练的数据专家是阻碍公司从大数据中获益的常见问题。关键是要找合适的人来组建大数据团队,但目前存在巨大的人才缺口。数据科学家必须保持技术拔尖,并且知道该用哪些发展中的工具来解决公司要解决的问题。大数据生态系统的发展非常迅速,我们需要花时间来了解哪些工具可用,哪些是最佳应用场景,以及确定它们是否在一年内仍然相关。人们低估了实施全功能大数据系统的难度。除数据科学家之外,您还需要产品所有者,数据工程团队以及熟悉数据准备,数据整合和可操作化的其他专业人员。

将来,大数据借助机器学习和自然语言处理提供实时决策。这将为所有人—不仅仅是数据精英提供意见。我们将通过自动化流程收集更多数据并获得可行的意见,从数据中获取近期价值。大数据分析将被应用到日常运营中。

当今对大数据状态的最大担忧是数据和工具的增长与隐私和安全如何保持一致。不仅技术方面有疑惑,并且要存入大量的数据。我们针对每个问题都有单独、复杂的工具,有些只有细微差别,并且每天都在变化。一年前,MapReduce是“重头戏”,今天是Spark。我怎么知道在哪里投入我的钱和时间?安全性和隐私仍都成了次要的问题,过于重视小问题,而不是数据来源以及如何保证安全。谷歌,苹果和电信运营商正在收集每个人的数据,我们不知道他们怎么使用这些信息。公司们搜集了超出他们保护范围的数据,然而黑客总是比白帽黑客先行一步。

大数据的开发人员所需要具备的两大能力:编程语言能力和商业能力。最常用的推荐语言是Java和Python,了解Apache Spark也非常受欢迎。最常提及的商业技能是1)了解商业和商业问题; 2)合作; 和3)理解机器学习和自然语言处理。

受访者还有其他不同的考虑因素:

  • 大数据技术是否包含关系数据库?它包括哪些类型的数据和速度?它可以扩展成不同的格式和不同的引擎吗?它可以与不同的数据整合吗?
  • 我们谈论大数据,但我们不谈论需要清理数据并将其转化成可搜索的格式。
  • 我们需要帮助人们找到构建解决方案的更快途径,以及如何规划项目进度。
  • 大数据将在哪里产生像一个行业那样的有形价值?
  • 特定行业(如医疗保健和金融服务)正在看到需要一套非常具体的工具。针对特殊需求的特定行业,有哪些正在出现的技术和趋势?
  • 语音搜索对于数据来说是一个巨大的机会,并且会越来越热。
  • 其他人如何看待云技术与大数据结合?云平台对开发者来说非常棒,但是我们如何将这些好处推广到大数据上?
  • 关注机器学习和自然语言处理(Alexa和Echo)。
  • 那些未能投入大数据解决方案的公司如何找到一个地方来寄存他们的数据,可以让他们分析数据,然后在准备好时将其转移到更大的平台上?我了解Mixpanel,但是他们其他人呢?

本文在新版《DZone大数据指南:数据科学和高级分析》中提供。获取更具洞察力的文章,行业统计数据,以及更多资讯!

本文的版权归 用户1433327 所有,如需转载请联系作者。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

数据分析师薪资有多高?爬了29个城市的数据告诉你答案

想要从事数据分析师这个岗位,那自然首先需要对这个岗位有所了解。最直接、最真实的方式就是从企业那里获得需求讯息,这样才最能够指导自己的学习方向和简历准备。本文即是...

4268
来自专栏喔家ArchiSelf

设计的商业价值

我们都知道产品和服务设计不好的例子,例如 USB插头(在第三次尝试时总是很幸运)。在许多机场匆忙进行联系飞行的经历就像星球大战中死星上的排气口。

1393
来自专栏新智元

北大 AI 公开课第3讲:蚂蚁金服漆远 人工智能驱动的金融生活服务(27 PPT)

【新智元导读】以人工智能驱动金融生活服务为切入点,北大“人工智能前沿”系列课程第三讲为观众描述了AI在特定领域的实现和应用。蚂蚁金服VP、首席科学家、普渡大学终...

5235
来自专栏BestSDK

一周简报|时代拓灵推出VR“全景声”SDK,可应用到硬件、平台、软件等

编辑导语 时代拓灵推出VR“全景声”SDK,可应用到硬件、平台、软件等;东软发布RealSight高级分析应用平台,帮助企业实现智能化运营; 智齿客服助力现金巴...

2615
来自专栏大数据文摘

精准营销意味着隐私的暴露

2579
来自专栏量子位

从应届技术男到百度VP,这是低调到没百科的吴海锋首次受访

在《百度AI人才图鉴》中,我们说他是百度搜索业务的现任掌舵者、鲜有曝光的12年的老百度,正在承担着百度安身立命的“搜索”的继往开来使命。

1155
来自专栏CDA数据分析师

最后一次机会,回到2016大数据生态纵览峰会现场

1月8日,2016大数据生态纵览峰会在北京圆满落幕。30多名嘉宾参与分享,20多家企业共同参与,30多家媒体参与报道,1000多名与会者见证了这场盛会。如果你错...

1959
来自专栏新智元

【V直播】网易有道周枫:神经翻译更懂人话,谷歌入华影响不大

嘉宾:网易高级副总裁、网易有道CEO 周枫 【新智元导读】本周,新智元V享圈请来网易高级副总裁、网易有道CEO周枫一起畅聊机器翻译。周枫分享了有道在自然语言处理...

33912
来自专栏DT数据侠

坐拥海量数据的运营商大佬,如何走出商业变现之路?

10月26日,第一财经旗下DT财经发起的数据社群——数据侠联手复旦大学大数据研究院人文社科数据研究所,共同举办了以“大数据商业应用解析与未来展望”为主题的公开课...

1342
来自专栏新智元

Facebook CTO:我们最大的与众不同,就在于开放

【新智元导读】今天《福布斯》刊登对 Facebook CTO Mark Schroepfer 的专访,后者就 Facebook 十年规划与记者深入交谈。 Sch...

35710

扫码关注云+社区

领取腾讯云代金券