[译]大数据的真正价值在哪里?

翻译:黄念 校对:王倩 素材来源:https://datafloq.com/

看一看所有与大数据相关的活动,我们应该问一个问题:究竟有多少大数据在实际上是有用的。根据常识稍微思考一下,我们就会发现只有一小部分。

我已经与数据打交道超过40年。在前互联网的时代,我们经历了所谓的数据过载(dataoverload)。结果后来我们发现数据本身其实是没有价值的,只有一小部分被证明对实际商业决策有直接影响。铭记历史教训,现在最关键的问题已经变成了找到真正有用的数据。数据的量的确增加了,但值得注意的是:大部分的增长都来源于非结构化数据。

让我先根据Webopedia的定义来解释什么是非结构化数据。非结构化数据是指没有任何相同结构的数据。例如,图片、视频、电子邮件、文件和文本都被认为是一个数据集内的非结构化数据。

尽管每个单独的文档可能都包含基于其创建程序的特定结构或格式,非结构化数据也可以被认为是“结构松散的数据”,因为数据源其实是具有结构的,但数据集内的所有数据包含的结构可能不尽相同。与此相反,数据库则是一种常见的“结构化”数据。

所以回顾历史,我们现在讨论的除了数据超载还加上了一个新的变数——代表了大部分新增数据量的非结构化数据。非结构化数据代表着新的量的产生。我认为,具有强大的数据分析能力同时能很好地把握行业标准并遵守规则的公司可以提供精确的过滤解决方案,从而为用户鉴别出最有价值的数据。

多剥一点洋葱(Onion)

尽管有众多关于过滤和分析结构化数据的解决方案不断出现,例如Splunk企业版,它可收集、索引和处理所有应用程序、服务器和设备(物理、虚拟和云中)生成的可转移操作的机器数据。在讨论“Hadoop会带来什么”时,有很多人在争论其优缺点,在这里我就不多加讨论了。

我的观点是,真正的挑战是提供价格可取的,关于更复杂的过滤和实时分析非结构化数据的解决方案。虽然所有类型的数据总量预计在未来五年中将增长800%,其中80%将是非结构化数据。

我建议具备数据建模、分析、OCL、本体模型的数据挖掘等能力的公司,可以通过提供既针对结构化又针对非结构化数据的解决方案来获得一定优势。时至今日,仍然没有公司可以真正提供能在海量大数据中精确定位和寻找的“神器”。

本体论在大数据中扮演什么角色?

本体论

正规来说,本体论将知识表示为在一个领域内的分层结构,并通过一个共享的词汇表来表示这些概念的类型、性质和相互关系。

本体论是用于组织信息的结构框架,可作为一种知识展现用于人工智能、语义网、系统工程、软件工程、生物信息学、图书馆学、企业书签和信息架构。领域本体的创建也定义本体论和其企业组织架构方面应用的基础。

本体论为什么重要?

因为它使我们在寻找关键数据或趋势时不需要整合系统和应用程序。它是如何应用的,哪些是实现它功能的重要元素?

本体论结合了一个本质上非常灵活、基于图形的语义模型和语义搜索,从而降低复杂数据集成的时间尺度和成本。本体论正在重新思考后谷歌世界中数据采集、数据关联和数据迁移的项目。

为什么会有人想要发展本体论?

  • 开发本体的最常见的目标之一是共享人们或软件代理之间的对信息结构的相同理解。例如,假设几个不同的网站都包含医疗信息或提供医疗电子商务服务。如果这些网站共享和发布信息时所使用的术语背后潜在的本体论是相同的,那么计算机代理可以从这些不同的网站中提取和聚合信息。代理也可以使用这些聚合信息来回答用户查询或将其作为其他应用程序的输入数据。
  • 以一些明确的域假设作为具体实施的基础使我们可以在关于域的知识发生改变时很容易地改变这些假设。关于编程语言代码的硬编码假设使得这些假设不仅很难找到和理解,更加难以被改变,特别是对没有编程经验的人。此外,对于领域知识的明确阐述对于必须学会这些术语在领域内代表什么意思的新用户也是很有帮助的。

通常一个领域的本体本身并不是一个目标。开发一个本体就类似于定义一组数据以及供其他程序使用时的结构。解决问题的方法、域独立应用程序和软件代理都是将本体和基于本体的知识库作为数据来使用的。

分类法与本体论间的区别是什么?

在信息管理领域中,人们经常使用的两个术语就是“分类法”和“本体论”,但人们却往往不知道两者之间的区别是什么。

在技术方面,本体论意味着更广泛的信息范围。人们通常把一个分类法称为“树”,以此延伸,本体论则更像是“森林”。本体论可以包含许多种分类法,每个分类法都有其特定的组织方式。

分类法一般只局限于特定的专题范围,例如产品或医疗条件。当你想通过添加结构或上下文使非结构化信息更容易被搜索时,分类法是很有用的。例如,如果用分类法来标记搜索索引中的文件,那么当用户用关键字搜索该内容时,分类法就可以作为给终端用户的筛选选项显示在搜索结果的左侧。多种分类法可以结合起来作为过滤器来实现强效深度挖掘的搜索体验。这正是你所看到的许多大牌的电子商务网站如Amazon和Costco正在做的事情。

本体论可以被认为更像一个网络,包含了所有概念之间的不同类型的联系。本体可以包含无限种联系,在不同的主题域的概念之间创建联系相对更加容易。例如,你可以创建一个材料分类中的“木材”和产品分类中的“椅子”之间的联系。关系类型可以是“例子”、“目的”或“部分”。

如果要创建一个可能会被用于处理高级自然语言或者文本分析的更复杂的信息模型,就会用到本体论。本体论可以让你更好地理解在信息语料库中的概念和因果关系。本体论还可以让问题回答引擎更加强大:例如,如果我搜索“谁是第十六任总统?”引擎利用本体论就可以返回一个特定的结果:“亚伯拉罕-林肯”。

本体论最简洁的表述方式:

  • 什么是数据?
  • 这意味着什么?
  • 它哪里来?
  • 为什么我们需要它——一旦我们知道这些,我们就能找到真正需要的数据了。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2015-12-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏玉树芝兰

如何用Python做舆情时间序列可视化?

如何批量处理评论信息情感分析,并且在时间轴上可视化呈现?舆情分析并不难,让我们用Python来实现它吧。

46820
来自专栏王清培的专栏

.NET领域驱动设计—实践(穿过迷雾走向光明)

阅读目录 开篇介绍 1.1示例介绍 (OnlineExamination在线考试系统介绍) 1.2分析、建模 (对真实业务进行分析、模型化) 1.2.1 用例...

289100
来自专栏SDNLAB

ONOS加入了Linux基金会就是开源吗?

一些致力于实现开源的开发人员一直对开放网络操作系统(ONOS)在开源程度上持怀疑态度,这使得ONOS近期的行动(ONOS加入Linux基金会)特别排斥他们。 ?...

35770
来自专栏AI科技评论

从CPU、GPU再到TPU,Google的AI芯片是如何一步步进化过来的?

按:本文作者栗向滨,中科院自动化所复杂系统国家重点实验室研究生,主攻机器人与人工智能。 ? Google I/O是由Google举行的网络开发者年会,讨论的焦点...

30870
来自专栏腾讯大讲堂的专栏

微信一年扫出多少个二维码?

图像作为一种特殊的语言形式,它克服了音声语言的转瞬即逝性,把信息长久保存下来,传播不再单纯依赖人类记忆力。 二维码通过图形记录着一组二进制数据,成为设备之间交...

448100
来自专栏杨熹的专栏

2017 我想要骑着光轮2000去追金色飞贼

2017 我想要骑着 光轮2000 去 追金色飞贼 一转眼就到了年底,大家都在忙着做盘点,做总结,做计划。 我也来回顾一下,先来复习一下超级个体的成长工具...

35860
来自专栏大数据文摘

大比拼:用24种可视化工具完成同一项任务的心得体会

亲爱的读者,你是否也有在特定场景使用的非常便捷的软件,欢迎评论区留言给我们,和大家分享这些使工作得心应手、效率百倍的瞬间!

33460
来自专栏CDA数据分析师

Python告诉你:这类程序员最赚钱!

都说程序员钱多靠谱话稳重,那么我们身边的程序员究竟月薪高到什么程度呢?本文将以Python爬虫、数据分析、全栈开发、运维开发、机器学习、架构师这7个岗位,从某招...

41020
来自专栏IT技术精选文摘

Netflix最新视频优化实践:用更少的带宽打造完美画质

马赛克、模糊、扭曲的面孔和物体……糟糕的图像质量会大幅降低观众通过Netflix观赏喜爱的剧集或电影时的观赏体验。很多情况下,网络带宽不足或数据限流会导致我们无...

33040
来自专栏PPV课数据科学社区

数据科学家应该掌握的5个工具

即使是知识渊博的数据科学家也能提升他们的技术水平。当谈及到分析你编纂的数据时,有大量的工具可以帮助你更好的理解数据。我们与我们的数据科学指导者探讨了很久,最后总...

42550

扫码关注云+社区

领取腾讯云代金券