5大数据挑战正在改变数据中心的面貌

引言:新的数据中心架构提出了新的数据挑战——数据捕获是如何驱动边缘到核心的数据中心架构的。

数据显然不是以前的样子了!各种组织都在寻找数据的新用途,这已经成为他们数字化转型的一部分。从喷气式发动机到杂货店,各行各业都有例子可以证明,数据正在成为竞争优势的关键之所在。我们将这些称为新数据,因为它们与我们最熟悉的财务数据或者ERP数据截然不同。那些旧的数据大部分都是交易性的,并且是从内部来源私下捕获的。

新的数据既是交易型的,也是非结构化的,公开可用的和私人收集的,其价值来源于我们对数据进行汇总和分析的能力。大致来说,我们可以将这些新数据分为两类:

1,大数据:用于批量分析的大量聚合数据集。

2,快数据:来源非常广泛的数据集,这些数据用于做出快速性的决策。

大数据和快数据的新模式正在推动数据中心(无论是公共的还是私有的)建立一种全新的架构。

图片来源于网络

在接下来的文章中,我将介绍新数据中心架构提出的前五大数据挑战:

1,数据采集正在推动边缘到核心的数据中心架构

新的数据正在从源头被捕获。这个源头可能来自于海面之下,或者来自于石油和天然气的勘探过程中,或者来自于在轨道运行的卫星,及天气预报的应用,或者来自于你的手机上的照片,视频和推文,或者来源于一组电影。从源头收集的数据量将会比我们今天所熟悉的数据量高出几个数量级。

2,数据规模正在推动数据中心自动化

大型云提供商的数据规模已经迫使他们必须大量地投资于自动化和智能化,用来管理其基础设施。任何人工的管理在这种运行的规模上都是成本高昂的。

3,数据的移动性正在改变全球网络

如果数据无处不在,那么我们就必须移动数据,才能实现对其的汇总和分析。正当我们认为(但愿如此)网络的速度将从40Gbps上升到100 Gbps,从而快于互联网带宽的要求时,数据的移动可能会增加100至1000倍。

4,数据价值的存储正在经历一场革命

在之前的文章“衡量数据的经济价值”(下文有链接)中,我们介绍了一种思考和衡量数据价值的方法。毫无疑问,数据对组织来说变得越来越有价值,数据在较长时间内的实用性正在随着机器学习和基于分析的人工智能(AI)的发展而日益增长。这意味着更多的数据需要被存储更长的时间,并且这些数据必须是可以整体处理的,以使分析变得有效。

5,数据分析是未来计算密集型体系结构的驱动者

通过分析性质和特别化的机器学习,组织不得不保留更多的数据,以便将其聚合到大数据存储库中。当其应用于多个更大的数据源时,这些分析类型提供了更好的答案。

分析和机器学习是计算密集型操作。因此,它们对大数据集的分析,驱动了大量的高速进程。与此同时,分析的计算密集性推动着我们使用更多新的方式来存储和访问数据,从小型的内存数据库到100 PB级别的对象存储器。

《衡量数据的经济价值》:https://www.networkworld.com/article/3221387/data-center/measuring-the-economic-value-of-data.html

原文链接:https://www.networkworld.com/article/3241245/big-data-business-intelligence/5-top-data-challenges-that-are-changing-the-face-of-data-centers.html

原文作者:Joan Wrabetz

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

数据科学职业生涯路径:如何在数据分析工作中找准自己的角色和定位?

? 写在前面 全世界,企业每天都在创造更多的数据,迄今为止大多数都在努力从中受益。根据麦肯锡的说法,仅美国就将面临150,000多名数据分析师的短缺另加150...

3618
来自专栏DevOps时代的专栏

DevOps 转型,只有工具是远远不够的!

? 敏捷软件开发已经打破了需求分析、测试、开发之间的壁垒。在软件开发流程中,开发与运维之间面临着相同的隔离问题。DevOps运动的目标就是打破开发与运维之间的...

2006
来自专栏数据猿

中国移动(浙江)大数据专家汤人杰:浙江移动大数据平台的践行之路

<数据猿导读> 中国移动(浙江)大数据专家汤人杰在2016年中国信息通信大数据大会上发表了以“浙江移动大数据平台的践行之路”为主题的演讲。他讲到,浙江移动的平台...

3013
来自专栏数据科学与人工智能

如何成功实现数据治理

如果你处理过大量数据,你也许听说过“数据治理”一词,你可能会想,它是什么?适不适合你?如何实施?简单来说,数据治理就是处理数据的策略——如何存储、访问、验证、保...

3875
来自专栏Spark学习技巧

Apache Kylin在绿城客户画像系统中的实践

1224
来自专栏云计算D1net

边缘计算将取代云计算?别开玩笑了

任何人都知道,物联网并不是一个玩笑,而且它确实是云的一个组成部分。对于物联网来说有一个关键的问题,就是如何从大量的设备中获取数据。思科系统预测,到2020年,云...

3215
来自专栏云计算

如何利用云优化加快网站访问

云计算最近成为几乎所有行业的基本业务工具。大多数公司领导人已经注意到云计算及其作用,同时也注意到那些可以优化云计算的方法。总而言之,云计算,曾经的奢侈品如今已经...

21611
来自专栏IT技术精选文摘

Apache Kylin在绿城客户画像系统中的实践

前言 作为国内知名的房地产开发商,绿城经过24年的发展,已为全国25万户、80万人营造了美丽家园,并将以“理想生活综合服务提供商”为目标,持续为客户营造高品质的...

4008
来自专栏SDNLAB

基于超融合基础设施的SDDC的五大优势

在过去几年中,超融合基础设施(HCI)设备已经成为运行特定应用程序和完整数据中心的标准基础设施选择。 他们设计之初的使命就是支持高度灵活的软件定义数据中心(SD...

2796
来自专栏SDNLAB

网络切片+区块链:能否推动制造业的转型?

在3GPP愿景中,“网络切片使运营商能够创建定制的网络,为不同的市场场景提供优化的解决方案,这些场景在功能,性能和隔离等方面需要不同的要求”。网络切片可以通过三...

582

扫码关注云+社区