5大数据挑战正在改变数据中心的面貌

引言:新的数据中心架构提出了新的数据挑战——数据捕获是如何驱动边缘到核心的数据中心架构的。

数据显然不是以前的样子了!各种组织都在寻找数据的新用途,这已经成为他们数字化转型的一部分。从喷气式发动机到杂货店,各行各业都有例子可以证明,数据正在成为竞争优势的关键之所在。我们将这些称为新数据,因为它们与我们最熟悉的财务数据或者ERP数据截然不同。那些旧的数据大部分都是交易性的,并且是从内部来源私下捕获的。

新的数据既是交易型的,也是非结构化的,公开可用的和私人收集的,其价值来源于我们对数据进行汇总和分析的能力。大致来说,我们可以将这些新数据分为两类:

1,大数据:用于批量分析的大量聚合数据集。

2,快数据:来源非常广泛的数据集,这些数据用于做出快速性的决策。

大数据和快数据的新模式正在推动数据中心(无论是公共的还是私有的)建立一种全新的架构。

图片来源于网络

在接下来的文章中,我将介绍新数据中心架构提出的前五大数据挑战:

1,数据采集正在推动边缘到核心的数据中心架构

新的数据正在从源头被捕获。这个源头可能来自于海面之下,或者来自于石油和天然气的勘探过程中,或者来自于在轨道运行的卫星,及天气预报的应用,或者来自于你的手机上的照片,视频和推文,或者来源于一组电影。从源头收集的数据量将会比我们今天所熟悉的数据量高出几个数量级。

2,数据规模正在推动数据中心自动化

大型云提供商的数据规模已经迫使他们必须大量地投资于自动化和智能化,用来管理其基础设施。任何人工的管理在这种运行的规模上都是成本高昂的。

3,数据的移动性正在改变全球网络

如果数据无处不在,那么我们就必须移动数据,才能实现对其的汇总和分析。正当我们认为(但愿如此)网络的速度将从40Gbps上升到100 Gbps,从而快于互联网带宽的要求时,数据的移动可能会增加100至1000倍。

4,数据价值的存储正在经历一场革命

在之前的文章“衡量数据的经济价值”(下文有链接)中,我们介绍了一种思考和衡量数据价值的方法。毫无疑问,数据对组织来说变得越来越有价值,数据在较长时间内的实用性正在随着机器学习和基于分析的人工智能(AI)的发展而日益增长。这意味着更多的数据需要被存储更长的时间,并且这些数据必须是可以整体处理的,以使分析变得有效。

5,数据分析是未来计算密集型体系结构的驱动者

通过分析性质和特别化的机器学习,组织不得不保留更多的数据,以便将其聚合到大数据存储库中。当其应用于多个更大的数据源时,这些分析类型提供了更好的答案。

分析和机器学习是计算密集型操作。因此,它们对大数据集的分析,驱动了大量的高速进程。与此同时,分析的计算密集性推动着我们使用更多新的方式来存储和访问数据,从小型的内存数据库到100 PB级别的对象存储器。

《衡量数据的经济价值》:https://www.networkworld.com/article/3221387/data-center/measuring-the-economic-value-of-data.html

原文链接:https://www.networkworld.com/article/3241245/big-data-business-intelligence/5-top-data-challenges-that-are-changing-the-face-of-data-centers.html

原文作者:Joan Wrabetz

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

数据科学职业生涯路径:如何在数据分析工作中找准自己的角色和定位?

? 写在前面 全世界,企业每天都在创造更多的数据,迄今为止大多数都在努力从中受益。根据麦肯锡的说法,仅美国就将面临150,000多名数据分析师的短缺另加150...

3538
来自专栏云计算D1net

如何挑选公共云的无形资产

将全部业务或部分业务迁移到公共云中,这是许多企业首席技术官和首席信息官在其职业生涯中做出的最重要的决定,但如果决策失误,则可能会使经营多年的公司陷入困境。对于某...

35010
来自专栏大数据和云计算技术

政务大数据系列6:政务大数据的物理模型

政务是个大市场,阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士,研发总监,他会写一系列文章来阐述政务云全景。 前面三篇...

2784
来自专栏Rainbond开源「容器云平台」

技术2016,我们一起听过的分享

1004
来自专栏鹅厂网事

云数据中心下的光网络

引子 过去的10年是互联网高速发展的10年,随着产业的不断发展,应用种类极大丰富,用户规模空前庞大。往往一个应用就拥有千万级别用户,上P数据量。在这样的环境下,...

1957
来自专栏量子位

Python超过R,成为数据科学和机器学习的最常用语言

陈桦 编译自 KDnuggets 量子位 报道 | 公众号 QbitAI ? 近期,数据挖掘资讯网站KDnuggets开展了一项调查,问题是“2016年和201...

3288
来自专栏PPV课数据科学社区

【专访】携程李亚锋:大数据技术融合下的Spark更具魅力

PPV课大数据 “大数据”作为当下最火热的IT行业词汇,在主流的数据处理工具当中Hadoop和Spark都被大家所熟悉。不过,目前基于内存计算的Spark适合各...

2843
来自专栏木东居士的专栏

闲聊4年大数据经历

1642
来自专栏大数据技术学习

想从事大数据、海量数据处理相关的工作,如何自学打基础?

想做数据处理尤其是大数据量处理的相关工作必须兼具计算机科学基础和统计基础。 现在有一个高大上的职业叫数据科学家,有人说数据科学家就是一个比程序员更懂统计的统计...

1166
来自专栏云计算D1net

私有云正在向云技术妥协

都说天下大势分久必合合久必分,技术应用也是如此。超融合技术在近些年在私有云里越来越火热,这种是用当代云计算技术改造私有云时尚的手段。国内外均有很多厂商在此处发力...

3477

扫码关注云+社区