为什么大数据项目失败几率很高?

企业在推行大数据项目时往往都会失败。2016年,Gartner估算约60%的大数据项目都会失败。一年后,Gartner分析师Nick Heudecker表示,这个数据“过于保守”,大数据项目失败率应接近85%。直至现在他也是这样认为的。主要原因如下:

1、数据整合不佳

Heudecker表示,大数据失败背后存在着一个重要的技术问题,那就是整合多个来源的孤立数据,以实现企业所需的数据处理能力。孤立数据表现在当他们将数据从系统提取到像数据湖这样的公共环境中后,却无法弄清楚这些值的含义。不理解数据中的关系,这些关系需要挖掘或推断,以便机器能够充分解释这些数据。同时还需要创建一个知识图层,以便机器能够解释下面映射的所有实例数据。目前简单集成是将多个数据源链接在一起形成数据湖路线。

2、大数据建设目标不明确

企业在进行大数据项目时是先启动项目,然后才去想目标。如:将结构化和非结构化数据连接起来,想要什么样的信息?解决大量数据的积累,而不是解决业务问题?是优先解决哪些业务问题,然后查看可用数据的质量,并在发现业务问题后解决数据问题。而不是其他

3、大数据技术差距

很多时候,认为数据仓库建立的内部技能将转化为大数据,而事实并非如此。数据仓库和大数据以完全相反的方式处理数据:数据仓库在写入时执行模式,这意味着数据在进入数据仓库之前就会被处理和组织。

在大数据中数据处理从一种方法转向另一种方法,技能和工具应该也是如此。

“技能永远是一个挑战。如果我们30年后谈论大数据,仍然会面临挑战。“很多人都依赖Hadoop。但Spark更好一些,因为栈更小也更容易训练。”

4、大数据技术代沟

大数据项目经常从旧的数据竖井中提取数据,试图将它们与新的数据源(如传感器、网络流量或社交媒体)合并。但是企业缺少的最大技术是如何融合这两个数据源,让他们共同解决复杂问题。对于不同的架构需要以不同的方式进行处理。技术技能和架构差异是无法将当前工具用于本地数据仓库并将其与大数据项目集成的主要原因。因为这些技术处理新数据的成本太高。所以需要Hadoop和Spark等新的语言。同时数据孤岛可能成为大数据项目的障碍,因为它没有任何标准。

解决方案:

1、大数据项目提前规划

他们需要首先考虑数据,并以机器可读的方式为企业建模,以便数据服务于该企业。”

2、全体共同努力

数据项目是一个团队项目,技术人员共同努力,并与业务部门合作以提供可行的结果。数据驱动型转型是公司普所有人普遍认可

3、聚焦小目标

大家认为大数据项目需要非常大的动作。但事实不是这样你必须问,自己想要什么?成功的最好方法是从小到小,然后逐渐扩大。

4、抛弃传统

企业拥有一项基础设施的许可证而只对现有的基础设施感兴趣。通常,新的复杂问题可能需要新的复杂解决方案。企业应该停止故步自封。企业不能再一味依赖供应商为他们解决复杂的系统问题。人们似乎都认为任何大数据问题都是系统性问题。但当面对复杂的系统变化时,企业必须建立自己的解决方案。使用企业以往的就工具并不是正确做法,否则导致大数据项目失败。

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20190523A0D4K200?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券