高管人员对大数据现状的看法
本文在新版《DZone大数据指南：数据科学和高级分析》中提供。获取更具洞察力的文章，行业统计数据，以及更多资讯！
为了更深入地了解大数据的现状，我们与来自20家公司的22位高管进行了交流，他们本身在大数据领域工作或为客户提供大数据解决方案。以下是与我们交流过的人：
剑桥科技企业公司企业解决方案副总裁Nitin Tyagi
Cloudera高级营销经理Ryan Lippert
Cloudera高级产品营销经理Sean Anderson
Coho Data产品营销高级经理Sanjay Jagad
数据转换实验室（DCL）首席运营官艾米威廉姆斯
Datameer市场战略和情报高级总监Andrew Brust
Experian DataLabs执行副总裁Eric Haller
InterSystems公司数据平台全球产品营销经理朱莉Lockner
Kinetica全球工程副总裁Eric Mizell
Kentik战略联盟副总裁Jim Frey
Liaison首席营收官Rob Consoli
MapR工业解决方案高级总监Dale Kim
MPP Global首席技术官Chris Cheney
SAP产品和解决方案营销高级总监Amit Satoor
Sisense产品负责人Guy Levy- Yurista
Snowflake Computing产品和营销副总裁Jon Bock
SUMOHeavy首席技术官Bob Brodie
TARGIT欧洲，中东和非洲专业服务总监Kim
VoltDB产品营销总监Dennis Duckworth
Waterline Data创始人兼首席执行官Alex Gorelik
Waterline Data首席营销官Todd Goldman
World Programming的总监兼联合创始人Oliver Robinson
以下是我们在交流中的主要发现：
成功部署大数据战略的关键之一是在使用软件和其他工具之前先了解你所要解决的问题。如果不清楚要解决的问题和解决的目标，你就不能确定使用什么软件或者工具来实现目标。另一关键也与第一点密切相关，即你探索的解决方案以及你要为企业带来的价值。你越清楚企业需求和问题所在你就越有可能解决它。追求“大数据”策略将花费很多时间和金钱，因为你要搜集大量的数据，大数据的提议并不廉价，因此请确定具体的使用场景，执行解决方案，充分挖掘使用价值，然后寻找下一个使用场景。
80％没有从大数据中获益的公司可以从战略规划下手，知道如何处理你收集到的信息、你寻求的解决方案，数据的来源，并理解数据清理和预处理，然后才能与其他数据整合。授权组织中的其他人访问数据。最终你希望希望能够在公司的各层提供实时决策; 但是，在实现此目标之前，你需要实现几个成功案例。就像我们先爬行，再走路，然后跑步。
过去一年中大数据的最大变化是实时数据流和可以处理大规模数据的机器的增加。数据流是大数据战略的一部分，有助于打破信息孤岛。借助机器学习和自然语言处理，大数据随处可用。至少有一家公司已经使他们的客户能够使用Alexa和自然语言处理来应对他们数据的查询，并从大量数据中获得解决方案。
Hadoop，Spark和Tableau是最常被提及的基于Hadoop的收集和分析数据的方案。一些受访者提到了像Kafka，Nitti和Storm这样的开源方案，并认为Python和R是用于数据分析的利器。SAS曾经拥有垄断分析工具，但在过去的12个月里，随着更多人使用R和H2O，这种情况已经发生了变化。然而，这并不代表着SAS的终结，因为它仍在财富500强中占据99％的份额。
当谈及大数据在现实中的应用场景，零售，医疗保健，媒体和电信是四个最常被提到的行业。其实，大数据在金融服务，政府，IT和车队管理也有所应用。在医疗保健和金融服务领域，大数据正用于识别病人关怀、客户关怀，金融诈骗和医疗手段的滥用。自然语言处理能监测并报告用户在社交媒体中透露的情绪，从而帮助电信运营商、零售商、CPG制造商和制药公司了解用户的想法、预测未来趋势和获得更大的利益。零售商聚焦于将多设备和实体店个性化，以提供更好的客户体验。
缺乏熟练的数据专家是阻碍公司从大数据中获益的常见问题。关键是要找合适的人来组建大数据团队，但目前存在巨大的人才缺口。数据科学家必须保持技术拔尖，并且知道该用哪些发展中的工具来解决公司要解决的问题。大数据生态系统的发展非常迅速，我们需要花时间来了解哪些工具可用，哪些是最佳应用场景，以及确定它们是否在一年内仍然相关。人们低估了实施全功能大数据系统的难度。除数据科学家之外，您还需要产品所有者，数据工程团队以及熟悉数据准备，数据整合和可操作化的其他专业人员。
将来，大数据借助机器学习和自然语言处理提供实时决策。这将为所有人—不仅仅是数据精英提供意见。我们将通过自动化流程收集更多数据并获得可行的意见，从数据中获取近期价值。大数据分析将被应用到日常运营中。
当今对大数据状态的最大担忧是数据和工具的增长与隐私和安全如何保持一致。不仅技术方面有疑惑，并且要存入大量的数据。我们针对每个问题都有单独、复杂的工具，有些只有细微差别，并且每天都在变化。一年前，MapReduce是“重头戏”，今天是Spark。我怎么知道在哪里投入我的钱和时间？安全性和隐私仍都成了次要的问题，过于重视小问题，而不是数据来源以及如何保证安全。谷歌，苹果和电信运营商正在收集每个人的数据，我们不知道他们怎么使用这些信息。公司们搜集了超出他们保护范围的数据，然而黑客总是比白帽黑客先行一步。
大数据的开发人员所需要具备的两大能力：编程语言能力和商业能力。最常用的推荐语言是Java和Python，了解Apache Spark也非常受欢迎。最常提及的商业技能是1）了解商业和商业问题; 2）合作; 和3）理解机器学习和自然语言处理。
受访者还有其他不同的考虑因素：
- 大数据技术是否包含关系数据库？它包括哪些类型的数据和速度？它可以扩展成不同的格式和不同的引擎吗？它可以与不同的数据整合吗？
- 我们谈论大数据，但我们不谈论需要清理数据并将其转化成可搜索的格式。
- 我们需要帮助人们找到构建解决方案的更快途径，以及如何规划项目进度。
- 大数据将在哪里产生像一个行业那样的有形价值？
- 特定行业（如医疗保健和金融服务）正在看到需要一套非常具体的工具。针对特殊需求的特定行业，有哪些正在出现的技术和趋势？
- 语音搜索对于数据来说是一个巨大的机会，并且会越来越热。
- 其他人如何看待云技术与大数据结合？云平台对开发者来说非常棒，但是我们如何将这些好处推广到大数据上？
- 关注机器学习和自然语言处理（Alexa和Echo）。
- 那些未能投入大数据解决方案的公司如何找到一个地方来寄存他们的数据，可以让他们分析数据，然后在准备好时将其转移到更大的平台上？我了解Mixpanel，但是他们其他人呢？