分布式云存储将于2020年迎来大爆发

什么是分布式云存储?

分布式云存储概念:大量PC机通过网络互联,对外作为一个整体提供存储服务。简单来说,就是以区块链的组成模式来存储、碎片化分散存储。

分布式云存储四大特性:

1、可扩展:分布式存储系统可以通过增加PC机的方式,使系统整体性能表现为线性增长。

2、低成本:分布式存储系统的自动容错、自动负载均衡机制都构建在PC机上。

3、高性能:大数据时代对分布式存储系统的整体要求。

4、易用:分布式存储系统需要能提供易用的对外接口,还要具备完善的监控、运维工具,并且能方便与其它系统集成。

存储的数据分类:

1、非结构化数据:如声频、图像、文档、视频。

2、半结构化数据:一般是自描述的,如HTML文档,模型结构和内容混在一起的数据,数据模式不需要预先定义。

3、结构化数据:模型结构和内容是分开的,数据模式需要预先定义,一般存储在关系数据库中,可用二维关系表结构表示。

分布式存储分类

一、分布式文件系统

互联网应用需要存储大量的图片、视频等非结构化数据对象,这类数据以对象的形式组织,对象之间没有关联,一般称作Blob(Binary Large Object)数据。分布式文件系统用来存储Blob对象,如Facebook Haystack、Taobao Flie System。

分布式文件系统主要存储三种类型数据:Blob对象、定长块、大文件。分布式系统内部按数据块(chunk)来组织数据,每个数据块大小相同,每个数据块可包含多个Blob对象或定长块,而大文件可分成多个数据块。分布式文件系统将这些数据块分布到存储集群中,处理数据复制、一致性、负载均衡、容错等难题,并将用户的数据操作映射为对底层数据块的操作。

二、分布式键值系统

分布式键值系统用于关系简单的半结构化数据的存储,只提供基于主键的CRUD功能。典型的系统如Amazon Dynamo、Taobao Tair。在数据结构角度上,分布式键值系统与传统的哈希表相似,特点是:分布式键值系统,能将数据分布到集群中多个存储节点。分布式键值系统是分布式表格系统的一种简化实现,一般用于缓存。

三、分布式表格系统

分布式表格系统用于关系较复杂的半结构化数据的存储。与分布式键值系统相比,功能更强大,比如单行事务、单个实体下的多行事务,典型系统如Google Bigtable、Microsoft Azure Table Storge、Amazon DynamoDB。而与分布式数据库相比,分布式表格系统主要针对单张表格的操作,不支持复杂的操作如多标关联、多表联接。分布式表格系统介于分布式键值系统与分布式数据库系统之间,是一种很好的折衷。

四、分布式数据库

分布式数据库由单机关系数据库发展而来,用于存储结构化数据。分布式数据库采用二维表格组织数据,提供SQL关系查询语言,多表关联,事务与并发控制,功能强大。典型系统如Mysql数据库分片集群,Amazon RDS、Microsoft SQL Azure.分布式数据库系统往往遇到扩展受限的问题,但并不是绝对的,如Google Spanner是一个支持多数据中心的分布式数据库,它不但具有丰富的数据库功能,还能扩展到多个数据中心。

SQL数据库是目前最为成熟的存储系统,它也面对着巨大的挑战:传统关系数据库事务及二维关系模型难以高效地扩展到多个存储节点上。为解决SQL数据库面临的可扩展、高并发、高性能问题,各种非关系数据库风起云涌,此类系统称为NoSQL系统。

分布式云存储将于2020年迎来大爆发

随着数字化、网络化的发展,越来越多的公司构建在以数字组成的产品服务之上,苹果、亚马逊和微软等公司已经超越以物质为主进行建设的传统公司。数字化、网络化的建设过程中,公司和个人正在产生越来越多的数据。据统计,从2010年到2020年,世界每年创造的数据在以42%的复合增长率增长;到2020年将达到每年44ZB的数据量。

全球数据增长情况来源:The International Data Center (IDC)

据了解,2016年的全球存储市场规模超过650亿美元,预计2020年将达到1435亿美元,年复合增长率达22%。随着企业对数据存储服务的旺盛需求,全球存储市场正走向成熟,劲头迅猛。

2020年全球存储市场规模及测算

目前,存储市场呈现出愈发细分的态势,互联网巨头、新兴创业龙头以及势头最强的区块链分布式存储阵营奠定了市场竞争的主要格局。得益于存储市场环境利好和分布式存储技术的优势,分布式存储越来越受到不同行业用户的青睐,一个新的存储时代已经来临。

一方面,云计算的出现加速推动了企业“互联网+”进程,以金融行业为代表的传统企业客户纷纷搭上互联网的快车,推出种类繁多的线上应用。以银行为例,电话银行、信用卡业务、线上银行等成了金融消费的“新常态”。另一方面,以闪存为代表的新一代存储介质逐步蚕食传统存储市场,文件、块、对象三种形式的存储的进一步融合,让分布式存储更加贴近企业用户的需求。最后,分布式存储易于扩展和管理,其成本低、硬件灵活度高以及可快速集成等特长,对于正在经历数字转型的企业来说非常重要。

(来自:IPFS盛伟丰超级矿池)

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190828A0JJHQ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券