【探讨】大数据三个重要的技术问题

当今,大数据的到来,已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候,大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时,大数据也向参与的各方提出了巨大的挑战,首先是三个重要的技术问题:

一、如何利用信息技术等手段处理非结构化和半结构化数据

大数据中,结构化数据只占 15% 左右,其余的 85% 都是非结构化的数据,它们大量存在于社交网络、互联网和电子商务等领域。另一方面,也许有 90% 的数据来自开源数据,其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。

大数据刺激了大量研究问题。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰,这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。给定一种半结构化或非结构化数据,比如图像,如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?值得注意的是,大数据每一种表示形式都仅呈现数据本身的侧面表现,并非全貌。

如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程,那么将粗糙知识与被量化后主观知识,包括具体的经验、常识、本能、情境知识和用户偏好,相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质”的飞跃。

由于大数据所具有的半结构化和非结构化特点,基于大数据的数据挖掘所产生的结构化的“粗糙知识”(潜在模式)也伴有一些新的特征。这些结构化的粗糙知识可以被主观知识加工处理并转化,生成半结构化和非结构化的智能知识。寻求“智能知识”反映了大数据研究的核心价值。

二、如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看,依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而导致大数据统一理论的完备。从短期而言,学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则,以支持大数据的交叉工业应用。管理科学,尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

大数据的复杂形式导致许多对“粗糙知识”的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的“二次挖掘”过程中。这里人机交互将起到至关重要的作用。

三、数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下,管理决策面临着两个“异构性”问题:“数据异构性”和“决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。

大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外,决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。无论大数据带来了哪种数据异构性,大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的,相当于研究如何将决策者的主观知识参与到决策的过程中。

大数据是一种具有隐藏法则的人造自然,寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,尽管这样的探索十分困难,但是如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法,已知的数据挖掘方法将成为大数据挖掘的工具。

以上是我对大数据的三个重要技术问题进行研究的一些心得,也仅仅是一个研究大数据挑战的起点。除此之外,还有一些数据科学的问题,包括在获得数据和从数据中产生规则方面可能存在的公理体系,基于数据库的知识发现规则与基于开放数据源的知识发现规则以及大数据挖掘的整体和(或)局部解的存在性问题等等。在不久的将来,我相信这些问题都需要去仔细研究,以获得突破性科研与应用成果。

来源:数据分析

作者:JohnTian

原文发布于微信公众号 - 数据的力量(shujudeliliang)

原文发表时间:2014-11-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

那些年我们吹过的牛逼——人工智能

人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术...

2007
来自专栏企鹅号快讯

为什么要利用NLP做情感分析?

作者:申利彬 校对:孙涛 本文谈论自然语言处理中的情感分析及其在不同行业中的应用。 多数人不能准确把握人类的情感变化,我也不例外,但是计算机却可以做到这一点。基...

2026
来自专栏云计算D1net

IT专家指导企业如何使用大数据

目前大数据市场日益升温,由此大数据驱动了巨大的消费增长。 研究公司IDC预计大数据技术和服务市场将以27%的速度逐年增长,到2017年达到324亿美元。 尽管资...

3707
来自专栏机器人网

机器学习领域10本好书由浅入深

机器学习是个跨领域的学科,而且在实际应用中有巨大作用,但是没有一本书能让你成为机器学习的专家。

1175
来自专栏机器人网

机器人容易被骗?谷歌AI研究人员将改变这种状况

据外媒报道,让机器人看到不存到的东西或完全让其将图像归类错误也许是一场有趣、好玩的游戏,但如果一套汽车的自动驾驶系统将一辆白色卡车错认成一朵白云时,这一切就跟好...

34312
来自专栏灯塔大数据

数据分析工作常见的七种错误及规避技巧

商业领域的数据科学家和侦探类似:去探索未知的事物。不过,当他们在这个旅程中冒险的时候,他们很容易落入陷阱。所以要明白,这些错误是如何造成的,以及如何避免。 “...

2593
来自专栏机器之心

业界 | 快手AI技术副总裁郑文:为什么说AI是短视频平台的核心能力

郑文是美国斯坦福计算机系博士,研究方向主要集中在计算机图形学和电影特效方面,毕业之后在美国从事机器学习和计算机视觉相关研究,2016 年回国后加盟快手,现任快手...

1193
来自专栏企鹅号快讯

先知:人工智能助力Fintech反欺诈

本文内容节选自第六届全球软件案例研究峰会宜人贷数据科学家王婷分享的《先知:人工智能助力Fintech反欺诈》实录,本文主要分享互联网金融反欺诈,通过人工智能与人...

49311
来自专栏人工智能头条

AAAI主席Rao Kambhampati:破解人机共存的规划技术挑战(PPT下载)

1293
来自专栏量子位

快手AI技术副总裁郑文:为什么说AI是短视频平台的核心能力

7月初举办的中国软件研发管理行业峰会(CSDI)上,快手AI技术副总裁郑文针对AI技术在短视频领域的应用做了精彩演讲。他介绍了人工智能技术是如何在快手整个业务流...

1280

扫码关注云+社区