大数据的五大误区及其破解之道

点击标题下「大数据文摘」可快捷关注

有些人认为,“大数据”这一词汇不过是企业营销时的大肆炒作。但即使是那些接受大数据概念的人,也需要消除某些大数据误区。

全球领先的信息技术研究和咨询公司Gartner指出,大肆宣传大数据概念,使企业在选择适当的行动方案时,受到更多困扰,但对消除一些仍存在的误区却毫无帮助。

例如,80%的数据是非结构化的,这是错误的;又如高级分析功能只是更复杂形式的普通分析,分析公司Gartner指出,这也是不正确的。

Gartner公司在已发布的两篇报告《大数据对分析功能影响中的主要误区》和《大数据对信息基础设施影响中的主要误区》中,集中探讨大数据对分析功能及信息基础设施影响中的相关误区,希望展示大数据相关的更多真实情况。以下摘取大数据概念的五大误区。

误区一:在大数据技术部署中,其他人都领先我们 虽然越来越多的企业开始关注大数据技术和服务,Gartner公司测算结果显示,73%的企业正在投入或策划大数据技术,但大多数企业才刚刚开始接受这一技术。

因此,担心竞争对手运用大数据技术快速发展实在是杞人忧天。实际上,只有13%的受访企业真正开始部署大数据相关技术。

Gartner公司表示:“企业面临的最大挑战是怎样通过大数据获得价值以及怎样入手部署大数据技术。大多数企业在试点阶段就遇到困难,因为他们并没有在业务过程或实际用例中运用该技术。”

Gartner公司的结论是:你并没有落后。为实际的任务制定策略,并与IT及业务部门合作。

误区二:数据量很大,而小缺陷无关紧要 有人认为,根据大数定律(Law of Large Numbers),独立的数据缺陷无关紧要,不会影响分析结果。

与更小规模的数据集相比,独立的数据缺陷对整个数据集的影响的确要小很多,但目前,数据量不断增长,数据缺陷与以往相比也越来越多。

Gartner公司表示:“因此,低质量数据对整个数据集的整体影响仍保持不变。此外,企业在大数据环境下使用的大部分数据来自外部数据源,其数据结构和来源未知。”

“这意味着数据质量问题的风险比以往更高。因此,在大数据部署中,数据质量实际上更加重要。”

Gartner公司的结论是:设计出新的数据质量管理方式,并选择数据质量级别。严格遵守数据质量保障的核心原则。

误区三:大数据将取代数据整合能力 企业希望通过读时模式(Schema on Read)处理信息,使用多个数据模型灵活地读取同一个数据源。这种灵活性将帮助最终用户决定怎样按需解释任意数据信息,并实现个体用户数据访问的定制化能力。然而,大多数用户实际上使用写时模式(Schema on Write)。写时模式下用户可描述数据并制定内容,而数据完整性也能保持一致。

误区四:将数据仓库用于高级分析是毫无意义的 有些人认为,高级分析功能可使用新的数据类型时,部署数据仓库则浪费时间。实际上,大多数高级分析项目在分析时都使用数据仓库。

新的数据类型还可能需要提炼,使其适于数据分析。此外,哪些是相关数据、怎样聚合数据以及必要的数据质量级别等都需要企业做出决策。

Gartner公司的结论是:尽可能使用数据仓库存储经人工收集检查的数据集,用于高级分析功能。

误区五:数据湖将取代数据仓库 数据湖解决方案通常被当作企业级平台销售,用于分析原生格式下的各种不同的数据源。但Gartner公司认为,数据湖取代数据仓库,或作为分析基础设施中的重要组件是错误的观点。

与已经成型的数据仓库技术相比,数据湖技术尚未成熟,其功能不够全面。“数据仓库已具备支持多种用户群体的能力。”因此,企业无需等待数据湖技术的成熟。

Gartner公司的结论是:在现有数据仓库中运用Hadoop等数据湖技术。只有在元数据管理技术、工具及培训上投入,才能通过数据湖技术创造业务价值。

原文作者:Toby Wolpe,ZDNET资深记者

摘自:美商天睿Teradata大数据分析

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2014-10-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

你能真正区分什么是数据科学家?数据工程师?统计分析师?

数据科学是一个蓬勃发展的产业。世界各地的国家和企业都在不断地收集大量的数据已达到一个高峰。他们决定聘请一些能为他们处理数据,并通过数据改变现状的专家。 数据科学...

37380
来自专栏华章科技

你的公司是否真的需要大数据战略?

我们认为,企业应该重视数据统治和数据管理。如果数据是一个企业最重要的资产,然后常规的数据统治项目和数据管理最佳实践是其能够实现的多数投资策略。如果只有其中一种投...

11130
来自专栏MixLab科技+设计实验室

人工智能时代,设计师如何学习新技术

封面由ARKie智能设计而成。 继续关于《2018科技中的设计趋势报告》的感想聊下设计师学习技术的经验。这里,我有 2 点经验可以分享给自我学习驱动的设计师...

41540
来自专栏腾讯大讲堂的专栏

理解交互设计从 0 到 1

引语 | 本文是针对自己最近学习交互设计知识的一个理解与学习笔记,通过阅读《交互设计原理与方法》书籍的学习,本篇文章先从最基础的角度理解什么是交互设计与用户体验...

34690
来自专栏PPV课数据科学社区

2017年,为何过半的大数据项目不成功?

此前,援引外媒消息称,Gartner预测,2017年将有60%的大数据项目在试验阶段就会失败,并最终会被放弃。 在大数据正热的当下,这一结论无疑给众多的热心者泼...

30650
来自专栏PPV课数据科学社区

【企业】数据科学团队的自测题

品觉导读: 1.数据科学家具备很多相邻领域的技能,至少是基本技能(比如工程、开发和运维、产品管理、数学、研究、写作、商业等等),团队最容易出问题的地方之一,就是...

28060
来自专栏Miguel三先生

职能部门的需求

17440
来自专栏python+iOS学习交流

要想做好iOS开发,必须要清楚这几个点!【架构师总结出来的经验】

每个人的都有独特的经历,因此会有特别的事情会让ta感到快乐,并享受做自己喜欢的事情。写程序也不例外,我在很年轻的时候就明白这点,它成为我开始创业的无形资产。写程...

13610
来自专栏CSDN技术头条

【BDTC 2017讲师专访】彭冬:微博商业基础大数据平台(D+)的架构演进

BDTC 2017中国大数据技术大会将于12月7日-9日在北京新云南皇冠假日酒店举行,大会为期三天。届时,近百位技术专家将为现场数千名的大数据行业精英、技术...

27250
来自专栏云计算D1net

超级云计算:步履维艰or一帆风顺?

当前,随着云时代的不断发展,越来越多的企业开始关注于行业当中的客户需求,不同行业客户有着不同的需求点。 对于云计算来说同样也是如此,自从云计算诞生以来,我们对于...

34040

扫码关注云+社区

领取腾讯云代金券