【探讨】大数据三个重要的技术问题

当今,大数据的到来,已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候,大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时,大数据也向参与的各方提出了巨大的挑战,首先是三个重要的技术问题:

一、如何利用信息技术等手段处理非结构化和半结构化数据

大数据中,结构化数据只占 15% 左右,其余的 85% 都是非结构化的数据,它们大量存在于社交网络、互联网和电子商务等领域。另一方面,也许有 90% 的数据来自开源数据,其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。

大数据刺激了大量研究问题。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰,这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。给定一种半结构化或非结构化数据,比如图像,如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?值得注意的是,大数据每一种表示形式都仅呈现数据本身的侧面表现,并非全貌。

如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程,那么将粗糙知识与被量化后主观知识,包括具体的经验、常识、本能、情境知识和用户偏好,相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质”的飞跃。

由于大数据所具有的半结构化和非结构化特点,基于大数据的数据挖掘所产生的结构化的“粗糙知识”(潜在模式)也伴有一些新的特征。这些结构化的粗糙知识可以被主观知识加工处理并转化,生成半结构化和非结构化的智能知识。寻求“智能知识”反映了大数据研究的核心价值。

二、如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看,依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而导致大数据统一理论的完备。从短期而言,学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则,以支持大数据的交叉工业应用。管理科学,尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

大数据的复杂形式导致许多对“粗糙知识”的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的“二次挖掘”过程中。这里人机交互将起到至关重要的作用。

三、数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下,管理决策面临着两个“异构性”问题:“数据异构性”和“决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。

大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外,决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。无论大数据带来了哪种数据异构性,大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的,相当于研究如何将决策者的主观知识参与到决策的过程中。

大数据是一种具有隐藏法则的人造自然,寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,尽管这样的探索十分困难,但是如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法,已知的数据挖掘方法将成为大数据挖掘的工具。

以上是我对大数据的三个重要技术问题进行研究的一些心得,也仅仅是一个研究大数据挑战的起点。除此之外,还有一些数据科学的问题,包括在获得数据和从数据中产生规则方面可能存在的公理体系,基于数据库的知识发现规则与基于开放数据源的知识发现规则以及大数据挖掘的整体和(或)局部解的存在性问题等等。在不久的将来,我相信这些问题都需要去仔细研究,以获得突破性科研与应用成果。

来源:数据分析

作者:JohnTian

原文发布于微信公众号 - 数据的力量(shujudeliliang)

原文发表时间:2014-11-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

你应该知道的机器学习方法

1222
来自专栏新智元

最新调研称AI职位年薪10万美元成常态 | 英特尔为开发者圆AI淘金梦支招

【新智元导读】AI 领域人才难求,收入水平水涨船高。那么,作为刚刚接触或打算进军AI 和机器学习领域的开发者们,又应该如何在这一领域起步呢?英特尔从他们对人工智...

30510
来自专栏大数据文摘

业界 | Kaggle问卷主成分分析,16000万数据从业者面临这5类挑战

1336
来自专栏腾讯技术工程官方号的专栏

腾讯俞栋:定义下一代智能人机交互,从目标、挑战到实现路径

语音识别及深度学习领域专家、腾讯AI Lab副主任及西雅图实验室负责人俞栋博士,在2018年腾讯全球合作伙伴大会上展示了腾讯AI正在推进的跨领域前沿研究:下一代...

542
来自专栏AI研习社

普通程序员想投身 AI 行业?知乎大 V 阿萨姆分享开发者转型的机遇与挑战

据 LinkedIn 发布的「全球 AI 领域人才报告」显示,2011 年深度学习技术爆发,人工智能领域有了飞跃式的发展,但核心人才资源的短缺限制了国内人工智...

32210
来自专栏数据科学与人工智能

【机器学习】你应该知道的机器学习方法

决定何时以及如何在你的团队中使用AI技术是一项艰巨的任务。可选的技术比比皆是:据venturescanner.com网站显示,目前VCs给多达885家AI公司投...

2656
来自专栏Albert陈凯

大数据到底怎么学:数据科学概论与大数据学习误区

作者|杜圣东 “数据科学家走在通往无所不知的路上,走到尽头才发现,自己一无所知。”-Will Cukierski,Head of Competitions &...

3297
来自专栏企鹅号快讯

先知:人工智能助力Fintech反欺诈

本文内容节选自第六届全球软件案例研究峰会宜人贷数据科学家王婷分享的《先知:人工智能助力Fintech反欺诈》实录,本文主要分享互联网金融反欺诈,通过人工智能与人...

35810
来自专栏机器之心

业界 | 作为百度AI技术的集大成者,最新升级的百度大脑3.0有何亮点?

大会现场,百度不仅分享了公司在 AI 技术、产品与平台等方面的研究成果与最新进展,还宣布了百度大脑的重磅升级,3.0 版本正式问世。

1032
来自专栏大数据文摘

CrowdFlower数据科学家17年调查报告:情愿断腿也不想丢数据

1756

扫码关注云+社区