基于大数据的信息系统关键技术研究

信息技术、计算机技术和互联网技术的高速发展促进了人类社会各类数据的爆炸性增长如何对这些结构复杂的大数据[注]进行有效管理己经成为当前社会的热点问题之一。自2011年EMC公司首次在年度大会中提出大数据的概念,己有多家公司和机构对大数据问题进行了研究。由于信息技术己经渗透到人类社会的多个领域,大数据问题会给整个社会带来深刻的影响可以预见,大数据问题必然会给信息技术产业带来一场深刻的技术变革。基于大数据的信息系统的技术创新是未来发展信息技术的关键,也是有关国家发展战略的重要课题。面对着大数据问题带来的机遇和挑战,我国有必要加大科研力度,努力缩小在信息技术领域与国际先进水平的差距。

一、大数据的特征与价值

对于大数据的定义目前仍没有一种通行的标准,不过从数据使用者的角度来讲,大数据可以定义为超过使用者所能处理和分析能力上限的数据。由于信息技术在人类社会的应用广泛而又深刻,各行业的公司、企业乃至政府机构都存储了大量的数据然而,这些大数据内的大量有价值的信息却很少被挖掘出来加以利用。究其原因,一方面是由于目前人们对于大数据的利用价值没有全面而深刻的认识,忽视了大数据中存在的重要信息;另一方面,由于缺乏相关的技术和人才,不能对这些大数据进行有效地处理和分析,以挖掘出其中有价值的信息。

大数据的基本特征是多样性、体量、速度以及价值所谓多样性是指大数据的来源丰富,且结构组成也相对多样化:体量即指数据量卜大:而速度是指数据的生成、变化和处理的速度都很快:价值则指大数据蕴含的应用价值。由于大数据的这些基本特征给当前的数据处理和分析技术带来了极大的难度,也给信息技术发展带来了新的挑战。为了对大数据进行处理以挖掘有价值的信息,我们不仅需要提升硬件设施的性能,而且要研发出能够处理大容量数据的技术、算法以及应用软件。

现代社会的信息化和数字化必然会导致大量数据的产生和累积。就现代企业而言,其在采购、生产、运输、销伟等环节都产生了大量数据。这些数据包含了企业运营过程中接触到的供应商、客户、人力资源等重要信息。现代企业的诸多决策很大程度上依赖于这些数据分析的结果。国外相关的研究表明,大数据存在着卜大的潜力,将会给整个社会的经济发展、技术创新和价值取向带来重大的变革充分发挥大数据的价值,企业可以显着提高其运营效益:而政府的运行和管理效率也会得到大幅提高。总之,大数据的潜在价值卜大,研究基于大数据的信息系统关键技术具有重要的战略意义。

二、基于大数据的信息系统关键技术

2.1分布式数据库与处理系统

由于大数据的多样性和大体量等特征,关系型数据库在处理大数据时普遍存在着不可忽视的缺陷。而大数据的价值密度也相对较低(+本站微信networkworldweixin),对于数据库提出了新的要求。分布式数据库系统采用更加简单的模型对数据信息进行管理Bigtable技术采用字符串的形式实现了对数据信息的高效管理:而Dynam.技术采用分布式哈希表等技术也实现对基于大数据的信息系统的可靠管理。分布式的数据处理系统的主要数据处理技术包括批处理技术和流处理技术。批处理技术按照某一特定方式将大数据划分为多个部分。划分后的数据可以同时在多个处理器进行分析和处理批处理技术削弱了数据之间的关联性,以达到增强数据可调度性的目的,其技术关键在于数据的划分方式、分配方式以及处理技术而流处理技术则是将大数据视为连续的流,进入系统的数据能被实时处理并将结果返同。流处理技术显着地提升了系统的时效性。

2. 2分布式文件管理技术

传统的文件管理技术在存储和管理大数据时的表现难以让人满意。因此,针对大数据信息系统设计的分布式文件管理技术在各大互联网企业中己经得到了应用,并且收到了不错的效果其中,Google提出的GFS文件管理技术以大量低成本服务器为基础,组建了一个具有较高拓展性的文件管理系统。大量数据

被分块存储到不同的服务器中,并通过关联链接等方式进行管理由于该技术在存储和读取大数据时效率较低,多种类GFS技术采用了增加缓冲层的方式以提高数据的存储和读取速度。

除上述技术以外,基于大数据的信息系统的关键技术还包括数据挖掘技术、稀疏处理技术等。

三、结语

大数据的潜在价值己经得到了业内人士的广泛关注和认可,研究基于大数据的信息系统关键技术不仅与信息产业的发展密切相关,而且将在一定程度上影响整个国家的发展战略。随着信息技术的不断发展和数字化进程的不断推进,大数据信息系统必然会对整个人类社会产生深远的影响。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2014-08-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

数字化的三大核心竞争力:云,大数据和智能中间件

2017年初,可以肯定地说,没有一个行业的龙头会质疑新数字经济或各公司都要制定数字化战略的事实。无数企业正在逐步的改进其业务模式,如通过重新关注运营指标等使其数...

3185
来自专栏云计算D1net

迈向云服务 要清楚的几件事

向云过渡前,数据中心用户真正应该关心的问题是什么?面对不同的服务需求,数据中心应该寻找什么样的云技术进行改造?决定云计算数据中心效率、能耗、管理等问题的关键技术...

2485
来自专栏Rainbond开源「容器云平台」

好雨案例 | 某大型金融数据公司利用Rainbond解决应用交付难题

1013
来自专栏云计算D1net

PK公有云,私有云存活至今的几大理由

思科云全球使用情况指数调查显示,到2020年底,68%的企业工作负载将会搬到公有云上,其他的将在私有云中完成,云计算使用总量将达到92%。既然公有云如此受欢迎,...

32311
来自专栏云计算D1net

微软VMware高层口水仗:虚拟化谁最强?

很明显,微软想要“吃掉VMware的午餐”。这至少是微软COO Kevin Turner在最近于华盛顿召开的便于合作伙伴大会上公开给出的结论。 他显然已经作好了...

3418
来自专栏软件技术

格智学院:AI开启人工智能

  我们希望能够跟腾讯一起在微信方面进行合作,通过加入人工智能提高微信的性能,因此我们跟微信的团队一起来提升他们的语音识别性能。我们在可扩展处理器上面优化微信的...

1953
来自专栏云计算D1net

论云计算与共享经济理念

最近一段时间里,科技界里最火的应该是共享单车了。从2016年底以来,共享单车在国内突然就火爆了起来。仿佛在一夜之间,各大城市路边就排满了各种颜色的共享单车。摩拜...

3169
来自专栏云计算D1net

云计算的大步前进带动虚拟化应用的爆发

谈到互联网的发展大家都非常的看好云计算是互联网发展的未来,所以在了解这方面内容的同时决定如下内容对云计算这个概念的理解和说法还是比较好的,所以分享出来希望对关注...

3237
来自专栏云计算D1net

什么力量在推动第二波云计算悄然来袭?

在最初尝试使用云计算服务后,许多企业组织正在将那些云资产从一个云倒腾到另一个云,从公有云倒腾到私有云,甚至从公有云倒腾回到企业内部部署的系统。 ? 这就是所谓的...

3126
来自专栏织云平台团队的专栏

【活动】腾讯运维总监带你探索 AIOps

3378

扫描关注云+社区