大数据技术的发展趋势

大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现的有力武器。这些技术下一步将如何发展?它们之中哪些技术将广为流行?又会诞生哪些新的技术?

技术趋向多样化,企业应选择接受度高和未来会快速普及的技术

目前,大数据相关的技术和工具非常多,给企业提供了更多的选择。在未来,还会继续出现新的技术和工具,如Hadoop分发、下一代数据仓库等,这也是大数据领域的创新热点。

那么企业到底该选用什么技术呢?

大数据学习群:199427210

TDWI(数据仓库研究所)对现有的大部分技术和工具进行了调查,以现在及未来三年内企业接受度和增长率两个维度进行划分,这些技术和工具可分成四类(见右图)。

企业最需要关注的是第1类中的技术和工具,它们最有可能成为最佳的实施工具,也代表了大数据技术的发展方向。

基于云的数据分析平台将更趋完善

企业越来越希望能将自己的各类应用程序及基础设施转移到云平台上。就像其他IT系统那样,大数据的分析工具和数据库也将走向云计算。

云计算能为大数据带来哪些变化呢?

首先云计算为大数据提供了可以弹性扩展、相对便宜的存储空间和计算资源,使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。

其次,云计算IT资源庞大、分布较为广泛,是异构系统较多的企业及时准确处理数据的有力方式,甚至是唯一的方式。

当然,大数据要走向云计算,还有赖于数据通信带宽的提高和云资源池的建设,需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。

数据分析集逐步扩大,企业级数据仓库将成为主流,未来还将逐步纳入行业数据、政府公开数据等多来源数据

当人们从大数据分析中尝到甜头以后,数据分析集就会逐步扩大。目前大部分的企业所分析的数据量一般以TB为单位。按照目前数据的发展速度,很快将会进入PB时代。特别是目前在100-500TB和500+TB范围的分析数据集的数量会呈3倍或4倍增长。

随着数据分析集的扩大,以前部门层级的数据集市将不能满足大数据分析的需求,它们将成为企业级数据库(EDW)的一个子集。根据TDWI的调查,如今大概有2/3的用户已经在使用企业级数据仓库,未来这一占比将会更高。传统分析数据库可以正常持续,但是会有一些变化,一方面,数据集市和操作性数据存储(ODS)的数量会减少,另一方面,传统的数据库厂商会提升它们产品的数据容量,细目数据和数据类型,以满足大数据分析的需要。

因此,企业内的数据分析将从部门级过渡到企业级,从面向部门需求转向面向企业需求,从而也必将获得比部门视角更大的益处。

需要指出的是,随着政府和行业数据的开放,更多的外部数据将进入企业级数据仓库,使得数据仓库规模更大,数据的价值也越大。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏非著名程序员

优秀程序员最重要的两个能力

? 我之前,应该是好久了,写过一篇文章就是:程序员的核心竞争力。但是我现在回想看来,感觉之前写的不是很准确。或者说随着自己经验和阅历的增长,对于程序员的核心竞...

2864
来自专栏区块链开发

区块链技术开发公司谈区块链技术在能源中的应用

  区块链技术核心功能就是不依靠中心或者第三方机构,保障数据的真实可信,打破信任壁垒,极大降低了业务开展需要支付的信任成本,促进业务的高效开展。区块链的技术特征...

44511
来自专栏JAVA高级架构开发

闲话如何成为一个架构师

虽然此种类比不一定恰当。也许你就想简简单单、安安静静写写代码,这种想法没错。国外,就有很多老程序员,与世无争的写代码,把代码写漂亮,没有那么功利非要给自己挂一个...

560
来自专栏云计算D1net

云服务应用开发所面临的9大挑战

云计算多年来发展迅速。云计算已经开始改变存储和访问数据的方式。我们目前看到智能手机应用程序使用云计算技术来允许用户存储和访问以前在智能设备上以前无法做到的。 云...

3378
来自专栏人称T客

企业数据管理目标和挑战 | 研报×To B

T客汇官网:tikehui.com 撰文 | 分析师 杨洋 ? 这里是移动信息化研究中心在 T 客汇上的研报专栏。我们每周针对企业服务领域,进行深度解读。...

29210
来自专栏云计算D1net

为什么物联网与云计算是天作之合

IT业这几年的重要变化就是各类“As-A-Service”的兴起, 从最早的SaaS, 到后来的PaaS, IaaS, 这些aaS有一个共同的基础, 那就是基于...

3296
来自专栏互联网数据官iCDO

营销决策转盘助您4步最大化研究ROI

没人可以保障永远的商业成功,但您可以通过做出更好的商业决策增加成功的可能性。其中一方面是在策划到执行的全程中做出更好的商业决策。如果策略有缺陷,再有执行力也会带...

1042
来自专栏DevOps时代的专栏

技术译文 | DevOps“五宗罪”,这样向DevOps过渡注定会失败

683
来自专栏人称T客

调研:什么成为企业部署云计算的障碍?

T客汇官网:tikehui.com 撰稿 | 窦悦怡 ? 移动信息化研究中心认为:标准、与原有及其它系统的互联互通一直是云计算在中国市场发展的顽疾。 同时...

31512
来自专栏PPV课数据科学社区

PPT丨企业大数据的实时分析之路(演讲干货)

导·读 近日,“2016易观A10大数据应用峰会”主论坛“大数据基础框架设计-实时分析技术平台洞察与实践”上,易观CTO郭炜发表了“企业大数据的实时分析之路”...

3916

扫码关注云+社区