基于大数据的信息系统关键技术研究

信息技术、计算机技术和互联网技术的高速发展促进了人类社会各类数据的爆炸性增长如何对这些结构复杂的大数据[注]进行有效管理己经成为当前社会的热点问题之一。自2011年EMC公司首次在年度大会中提出大数据的概念,己有多家公司和机构对大数据问题进行了研究。由于信息技术己经渗透到人类社会的多个领域,大数据问题会给整个社会带来深刻的影响可以预见,大数据问题必然会给信息技术产业带来一场深刻的技术变革。基于大数据的信息系统的技术创新是未来发展信息技术的关键,也是有关国家发展战略的重要课题。面对着大数据问题带来的机遇和挑战,我国有必要加大科研力度,努力缩小在信息技术领域与国际先进水平的差距。

一、大数据的特征与价值

对于大数据的定义目前仍没有一种通行的标准,不过从数据使用者的角度来讲,大数据可以定义为超过使用者所能处理和分析能力上限的数据。由于信息技术在人类社会的应用广泛而又深刻,各行业的公司、企业乃至政府机构都存储了大量的数据然而,这些大数据内的大量有价值的信息却很少被挖掘出来加以利用。究其原因,一方面是由于目前人们对于大数据的利用价值没有全面而深刻的认识,忽视了大数据中存在的重要信息;另一方面,由于缺乏相关的技术和人才,不能对这些大数据进行有效地处理和分析,以挖掘出其中有价值的信息。

大数据的基本特征是多样性、体量、速度以及价值所谓多样性是指大数据的来源丰富,且结构组成也相对多样化:体量即指数据量卜大:而速度是指数据的生成、变化和处理的速度都很快:价值则指大数据蕴含的应用价值。由于大数据的这些基本特征给当前的数据处理和分析技术带来了极大的难度,也给信息技术发展带来了新的挑战。为了对大数据进行处理以挖掘有价值的信息,我们不仅需要提升硬件设施的性能,而且要研发出能够处理大容量数据的技术、算法以及应用软件。

现代社会的信息化和数字化必然会导致大量数据的产生和累积。就现代企业而言,其在采购、生产、运输、销伟等环节都产生了大量数据。这些数据包含了企业运营过程中接触到的供应商、客户、人力资源等重要信息。现代企业的诸多决策很大程度上依赖于这些数据分析的结果。国外相关的研究表明,大数据存在着卜大的潜力,将会给整个社会的经济发展、技术创新和价值取向带来重大的变革充分发挥大数据的价值,企业可以显着提高其运营效益:而政府的运行和管理效率也会得到大幅提高。总之,大数据的潜在价值卜大,研究基于大数据的信息系统关键技术具有重要的战略意义。

二、基于大数据的信息系统关键技术

2.1分布式数据库与处理系统

由于大数据的多样性和大体量等特征,关系型数据库在处理大数据时普遍存在着不可忽视的缺陷。而大数据的价值密度也相对较低(+本站微信networkworldweixin),对于数据库提出了新的要求。分布式数据库系统采用更加简单的模型对数据信息进行管理Bigtable技术采用字符串的形式实现了对数据信息的高效管理:而Dynam.技术采用分布式哈希表等技术也实现对基于大数据的信息系统的可靠管理。分布式的数据处理系统的主要数据处理技术包括批处理技术和流处理技术。批处理技术按照某一特定方式将大数据划分为多个部分。划分后的数据可以同时在多个处理器进行分析和处理批处理技术削弱了数据之间的关联性,以达到增强数据可调度性的目的,其技术关键在于数据的划分方式、分配方式以及处理技术而流处理技术则是将大数据视为连续的流,进入系统的数据能被实时处理并将结果返同。流处理技术显着地提升了系统的时效性。

2. 2分布式文件管理技术

传统的文件管理技术在存储和管理大数据时的表现难以让人满意。因此,针对大数据信息系统设计的分布式文件管理技术在各大互联网企业中己经得到了应用,并且收到了不错的效果其中,Google提出的GFS文件管理技术以大量低成本服务器为基础,组建了一个具有较高拓展性的文件管理系统。大量数据

被分块存储到不同的服务器中,并通过关联链接等方式进行管理由于该技术在存储和读取大数据时效率较低,多种类GFS技术采用了增加缓冲层的方式以提高数据的存储和读取速度。

除上述技术以外,基于大数据的信息系统的关键技术还包括数据挖掘技术、稀疏处理技术等。

三、结语

大数据的潜在价值己经得到了业内人士的广泛关注和认可,研究基于大数据的信息系统关键技术不仅与信息产业的发展密切相关,而且将在一定程度上影响整个国家的发展战略。随着信息技术的不断发展和数字化进程的不断推进,大数据信息系统必然会对整个人类社会产生深远的影响。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2014-08-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

没有实时分析?你的见解已经跟不上实际的变化了

在去年奥斯卡提名电影《隐藏人物》中,有一个很棒的场景,美国宇航局的“电脑”凯瑟琳·约翰逊请求准许查看机密的每日简报,规划将宇航员约翰·格伦在几周内送入轨道。

1445
来自专栏大数据文摘

LinkedIn:我们下一步要做的是数据产品矩阵化

1388
来自专栏大数据和云计算技术

运营商大数据业务举例

3.1 运营商常见的大数据业务 第1章介绍了运营商拥有的数据资产,运营商拥有从底层的设备和网络数据到上层的用户行为数据。有了这些数据,运营商大数据便可以衍生出...

2978
来自专栏企鹅号快讯

2017年高等教育十大战略性技术(二)

编者按 EDUCAUSE分析和研究中心(ECAR)不久前发布了《2017年高等教育十大战略性技术》报告,报告主要描述2017年美国高等院校正在投入的技术,《高等...

1826
来自专栏数据科学与人工智能

健康医疗大数据,数据自身“健康”是关键

众所周知,数据是事实或结果,是用于表示客观事物的未经加工的的原始“素材”。这种“素材”应当具备真实性、完整性、一致性、准确性和自洽性,这是数据的基本属性,亦称数...

3154
来自专栏小狼的世界

关于Advertising Campaign

Advertise Campaigns 是指为了传播企业创意或者宣传主题而采取的一些列的整合营销(IMC)活动,也称为广告战役。广告战役主要在一段明确的时间内,...

723
来自专栏WindCoder

广泛vs狭窄的技能树:软件工程技能揭秘

每个软件工程师都有自己掌握的技能。如果你掌握了一到两种技能,而其他的技能却很少,那么技能就是“深而窄”;如果你能在不成为任何领域的专家的情况下做一点事情,那就是...

511
来自专栏美团技术团队

美团点评业务风控系统构建经验

背景 美团最初以团购的形式出现,到现在有了很大的业务形态转变。尤其是经过与大众点评的业务融合,从单一业务发展成了覆盖到店餐饮、到店综合、猫眼、外卖、酒店、旅游等...

4575
来自专栏SDNLAB

云和SDN成为下一代移动网络演进方向

1193
来自专栏大数据和云计算技术

政务大数据的全景图

导读:政务是个大市场,阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士,研发总监,他会写一系列文章来阐述政务云全景。 上一篇深入阐述...

4958

扫码关注云+社区