IT专家指导企业如何使用大数据

目前大数据市场日益升温，由此大数据驱动了巨大的消费增长。

研究公司IDC预计大数据技术和服务市场将以27%的速度逐年增长，到2017年达到324亿美元。

尽管资金是流动的，但是并不总是很清楚在经过了早期的采用阶段企业是否获得了成功。为了确定这一点，研究者调查了一些IT决策者和经理，这些人分享了他们企业关于大数据计划、投资和重点的细节。

这项调查的对象是处于大数据部署各个阶段的一些公司。已经部署了大数据项目的公司占19%，正在部署大数据项目的公司占25%。在未来12个月将部署大数据项目的公司占16%，在未来13-24个月将部署大数据项目的公司占16%。剩下的23%将在较长的时间段内部署大数据项目;这些受访者在未来可能部署大数据项目，但都在努力寻找正确的战略和解决方案。

下面的图片中显示，大数据在各行业各种规模的企业中的地位正在变得越来越重要。当被问及大数据计划在其企业的重要级别时，53%的人认为他们的项目至关重要或处于高等优先级，另有34%的人表示其项目处于中等优先级，仅有12%的人表示其项目处于低等优先级。

下面是受访者关于大数据部署的一些经验和观点：

1.企业想做更好的决策，想更快地做决策

为什么要部署大数据项目?因为它在企业做出决策的质量和做决策的速度方面起着至关重要的作用。驱动企业投资大数据项目的两个最流行的目的是提高决策的质量(在受访者中占59%)和加快做决策的速度(在受访者中占53%)。

紧随其后的部署大数据项目的目的是改善规划和预测(在受访者中占47%);开发新的产品/服务和收入来源(在受访者中占47%);提高获得新客户和留住老客户的能力(在受访者中占44%);建立新的业务合作伙伴关系(在受访者中占34%)。

2. PB级数据?对于大公司来说已经成为现实

公司已经积累了巨量关于其客户和业务的数据集。在所有的受访者中，其所在的公司要处理的数据量平均为164TB。当问到他们在未来的12-18个月中估计要处理多少数据时，受访者的预计的数据量平均为289TB，这就意味着比之前增长了76%。

如今，有6%的受访者表示现在管理的数据已经超过了1PB;在未来的12-18个月中，这一比例将上升到14%。在最大的公司(年收入至少10亿的公司)中，有31%预计管理超过1PB的数据。

3.公司感受到了数据负载的压力

当有巨大数量的数据涌入公司时，公司将受到严重的影响。例如：由于无法迅速地找到所需要的信息而丢失业务(11%的受访者表示经常发生，31%的受访者表示偶尔发生);重要决策的延迟(14%的受访者表示经常发生，39%的受访者表示偶尔发生);面临大量数据，用户变得不堪重负(19%的受访者表示经常发生，46%的受访者表示偶尔发生);数据安全过失(4%的受访者表示经常发生，15%的受访者表示偶尔发生)。

4.公司准备投资大数据项目;目前投资回到率不是主要障碍

调查发现，有限的预算是部署大数据项目面临的最大挑战。在受访者中，不同的市场，投资额度会有不同。在低端市场，19%的受访者表示明年在大数据计划上的投资不到10万美元。在高端市场，29%的受访者表示他们的投资将超过100万美元(其中有2%的受访者声称他们在大数据项目上将投资1亿美元或更多)。

公司在大数据项目上的投资领域有很多，其中包括：

开发或购买应用软件(占38%)

投在另外的服务器或存储硬件/软件(占37%)

使用开源软件框架(如Apache Hadoop)(占30%)

将存储迁移到云端(占28%)

增加网络带宽(27%)

将数据分析迁移到云端(26%)

虽然预算是最大的问题，但是投资回报率不那么紧迫。仅有26%的受访者表示将投资回报率看成主要障碍。

5.公司感觉到了大数据人才的短缺

公司担心他们是否有合适的员工——例如大数据科学家——在公司实施他们大部分的大数据计划。在公司职员的雇佣方面，34%的公司招聘有数据分析技巧的人员，26%的公司招聘的人员需要具备大数据专业知识。

当被问及在未来12-18个月中，他们计划招聘哪些职员时，他们的答案是：数据科学家(占27%)高居榜首，其次是：数据架构师(占24%)，数据分析师(占24%)，有数据可视化技能的人员(占23%)，业务分析师(占21%)，研究分析师(占21%)，数据分析总监或经理(占19%)，数据库程序员(占19%)。

6.数据安全性是一个问题，但不是最大的问题

调查结果显示，有限的预算和人才短缺是公司部署大数据项目时面临的两个最大的挑战。关于公司部署大数据项目时遇到的问题，受访者还提到了安全问题(占35%)，开发时间(占35%)，遗留问题，如与现有工具的集成(占33%)，糟糕的数据质量(占32%)，整合或分析实时数据的困难(占30%)。

关于安全话题，接近一半的受访者(49%)表示他们现有的安全解决方案和产品为其大数据项目提供了足够的安全保障。29%的受访者表示他们现有的安全解决方案和产品没有为其大数据项目提供足够的安全保障，22%的受访者不清楚。

7.业务集成和文化接受，哪个更难?

研究者向受访者调查了将大数据计划融入企业的业务流程和文化中的困难程度。按照极具挑战性或非常有挑战性来划分，文化接受(占54%)要比业务流程集成(占50%)困难一些。

8.IT部门主导大数据计划，但是大数据项目是否成功取决于跨部门的合作

受访者表示，大数据项目一般由IT部门主导：46%的受访者表示在他们的企业由高层或执行IT部门主导大数据计划，44%的受访者表示IT管理部门运行他们的大数据项目。但是不是他们单独做：36%的受访者表示其执行企业领导也参与其中。此外，受访者表示他们的大数据工作获得了CEO(占47%)或LOB(占34%)的支持和赞助。IT部门和企业领导都同意，当通过共同实施来解决具体的业务挑战时，大数据项目就获得了最大的成功。

9.对于许多公司来说，大数据的发展势头将继续高涨

展望未来，接近一半(占48%)的受访者预计，在未来三年内，大数据在企业中将被广泛使用，另有26%的受访者预计，在企业的一个或多个业务单元，部分或分部，大数据的使用将成为主流。仅有5%的受访者认为他们的大数据计划在大数据的鼓吹停下来之后将平静下来，另外的5%不清楚。其余16%的受访者预计，他们仍将使用大数据，但是不会在其主流产品中使用。