基于大数据的信息系统关键技术研究

信息技术、计算机技术和互联网技术的高速发展促进了人类社会各类数据的爆炸性增长如何对这些结构复杂的大数据[注]进行有效管理己经成为当前社会的热点问题之一。自2011年EMC公司首次在年度大会中提出大数据的概念,己有多家公司和机构对大数据问题进行了研究。由于信息技术己经渗透到人类社会的多个领域,大数据问题会给整个社会带来深刻的影响可以预见,大数据问题必然会给信息技术产业带来一场深刻的技术变革。基于大数据的信息系统的技术创新是未来发展信息技术的关键,也是有关国家发展战略的重要课题。面对着大数据问题带来的机遇和挑战,我国有必要加大科研力度,努力缩小在信息技术领域与国际先进水平的差距。

一、大数据的特征与价值

对于大数据的定义目前仍没有一种通行的标准,不过从数据使用者的角度来讲,大数据可以定义为超过使用者所能处理和分析能力上限的数据。由于信息技术在人类社会的应用广泛而又深刻,各行业的公司、企业乃至政府机构都存储了大量的数据然而,这些大数据内的大量有价值的信息却很少被挖掘出来加以利用。究其原因,一方面是由于目前人们对于大数据的利用价值没有全面而深刻的认识,忽视了大数据中存在的重要信息;另一方面,由于缺乏相关的技术和人才,不能对这些大数据进行有效地处理和分析,以挖掘出其中有价值的信息。

大数据的基本特征是多样性、体量、速度以及价值所谓多样性是指大数据的来源丰富,且结构组成也相对多样化:体量即指数据量卜大:而速度是指数据的生成、变化和处理的速度都很快:价值则指大数据蕴含的应用价值。由于大数据的这些基本特征给当前的数据处理和分析技术带来了极大的难度,也给信息技术发展带来了新的挑战。为了对大数据进行处理以挖掘有价值的信息,我们不仅需要提升硬件设施的性能,而且要研发出能够处理大容量数据的技术、算法以及应用软件。

现代社会的信息化和数字化必然会导致大量数据的产生和累积。就现代企业而言,其在采购、生产、运输、销伟等环节都产生了大量数据。这些数据包含了企业运营过程中接触到的供应商、客户、人力资源等重要信息。现代企业的诸多决策很大程度上依赖于这些数据分析的结果。国外相关的研究表明,大数据存在着卜大的潜力,将会给整个社会的经济发展、技术创新和价值取向带来重大的变革充分发挥大数据的价值,企业可以显着提高其运营效益:而政府的运行和管理效率也会得到大幅提高。总之,大数据的潜在价值卜大,研究基于大数据的信息系统关键技术具有重要的战略意义。

二、基于大数据的信息系统关键技术

2.1分布式数据库与处理系统

由于大数据的多样性和大体量等特征,关系型数据库在处理大数据时普遍存在着不可忽视的缺陷。而大数据的价值密度也相对较低(+本站微信networkworldweixin),对于数据库提出了新的要求。分布式数据库系统采用更加简单的模型对数据信息进行管理Bigtable技术采用字符串的形式实现了对数据信息的高效管理:而Dynam.技术采用分布式哈希表等技术也实现对基于大数据的信息系统的可靠管理。分布式的数据处理系统的主要数据处理技术包括批处理技术和流处理技术。批处理技术按照某一特定方式将大数据划分为多个部分。划分后的数据可以同时在多个处理器进行分析和处理批处理技术削弱了数据之间的关联性,以达到增强数据可调度性的目的,其技术关键在于数据的划分方式、分配方式以及处理技术而流处理技术则是将大数据视为连续的流,进入系统的数据能被实时处理并将结果返同。流处理技术显着地提升了系统的时效性。

2. 2分布式文件管理技术

传统的文件管理技术在存储和管理大数据时的表现难以让人满意。因此,针对大数据信息系统设计的分布式文件管理技术在各大互联网企业中己经得到了应用,并且收到了不错的效果其中,Google提出的GFS文件管理技术以大量低成本服务器为基础,组建了一个具有较高拓展性的文件管理系统。大量数据

被分块存储到不同的服务器中,并通过关联链接等方式进行管理由于该技术在存储和读取大数据时效率较低,多种类GFS技术采用了增加缓冲层的方式以提高数据的存储和读取速度。

除上述技术以外,基于大数据的信息系统的关键技术还包括数据挖掘技术、稀疏处理技术等。

三、结语

大数据的潜在价值己经得到了业内人士的广泛关注和认可,研究基于大数据的信息系统关键技术不仅与信息产业的发展密切相关,而且将在一定程度上影响整个国家的发展战略。随着信息技术的不断发展和数字化进程的不断推进,大数据信息系统必然会对整个人类社会产生深远的影响。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2014-08-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏镁客网

微信小程序来了,张小龙颠覆社交后又将颠覆移动互联网

2166
来自专栏云计算D1net

惊心:只有40%的企业有正式集中的云安全策略

现在随着云计算的不断进步和发展,很多云计算供应商也开始作为第三方云服务商对用户进行各种云计算的服务,在云端,数据的安全性一直是用户和企业管理者一直尤为关注的,很...

3315
来自专栏腾讯大数据的专栏

腾讯​信鸽连接一切移动互联网

腾讯是做什么的?这个问题在近日举办的2014年全球移动互联网大会(GMIC)上,腾讯公司COO任宇昕给出了一个简洁的答案:腾讯就是做连接的。 ...

2645
来自专栏安恒信息

如何用大数据感知你看不到的风险

近日,以“构建智慧安全”为主题的2017杭州网络安全研讨会在美丽的西子湖畔圆满召开。安恒信息高级副总裁、首席科学家刘博应邀出席,并作题为《智能大数据分析提高安全...

3576

物联网(IoT)在企业应用中的三个例子

通过将物联网(IoT)设备集成到当前的IT基础设施中,企业能有良好的收益。而一旦通过设备捕获数据,并且分析和处理数据,才会发现物联网(IoT)的真正价值和影响。

3727
来自专栏人称T客

报告|移动IM进入快车道,但“车技修行”之路仍漫漫

T客汇官网:tikehui 撰文 |移动信息化研究中心分析师 高柳 本文主要针对移动IM的应用情况进行研究,包括对企业实践过程中制定的保障策略进行梳理、企业...

3499
来自专栏知晓程序

提前曝光!微信官方悄悄告诉我们,这 3 个新能力即将开放

随着小程序的持续窜热,商家和企业加速进入小程序生态,越来越多人「严阵以待」着小程序新能力的发布和微信关于小程序未来规划的描述。而在 11 月 21 日的公开课,...

1583
来自专栏腾讯云TStack专栏

腾讯云可信云认证累计达20项,腾讯云TStack技术创新能力再获专业认可

8月14-15日,由中国信息通信研究院、中国通信学会、中国通信标准化协会主办的“2018可信云大会”在北京国家会议中心举行。会上,腾讯云黑石物理服务器、混合...

1392
来自专栏镁客网

内含视频(慎点)| IO Active将工业机器人变为“杀手”,以警示各大机器人公司

1110
来自专栏葡萄城控件技术团队

基于低代码平台(Low Code Platform)开发中小企业信息化项目

前言:中小企业信息化需求强烈,对于开发中小企业信息化项目的软件工作和程序员来说,如何根据中小企业的特点,快速理解其信息化项目的需求并及时交付项目,是一个值得关注...

3926

扫码关注云+社区