对象存储来势汹汹,究竟谁是“幕后推手”?

存储圈真会玩,继网络接入存储、块存储、文件存储之后,对象存储也掀起了新一轮发展浪潮。银行、保险、交通集团等传统企业纷纷换上了对象存储,真怀疑IT部门的单身狗只是单纯地看上了“对象”这两个字。

作者 | 郭敏

官网 | www.datayuan.cn

微信公众号ID | datayuancn

存储圈真会玩,继网络接入存储、块存储、文件存储之后,对象存储也掀起了新一轮发展浪潮。银行、保险、交通集团等传统企业纷纷换上了对象存储,真怀疑IT部门的单身狗只是单纯地看上了“对象”这两个字。

不久之前,青云发布了QingStor对象存储2.0,QingStor主要包括两条产品线:对象存储和NeonSAN。其中,青云特别强调QingStor对象存储是一款自主研发的数据存储产品,并且在私有云市场已经有了很多应用案例。当然,除了青云之外,IBM、Red Hat、HDS、EMC等巨头也在企业级对象存储领域展开了布局。

对象存储到底是什么?为何会在此时“揭竿而起”?青云的对象存储又有什么不同之处?在日前的媒体见面会上,QingStor对象存储研发总监杨锦涛和青云QingCloud资深产品经理李威对于上述问题做了详细的解答。

海量结构化数据“激活”了对象存储

有数据就有存储,就个人而言,储存小文件需要U盘,存储大文件需要硬盘或者网盘;对于企业来讲,就不仅仅只是硬盘那么简单了,而需要通过硬件固件和自动化软件形成企业级存储系统,来储存海量数据。当下,企业级存储分为两大类:

第一类是传统企业存储。其中,NAS(网络接入存储)和SAN(存储区域网络)是传统企业存储中非常重要的两类。NAS被定义为一种特殊的专用数据存储服务器,包括存储器件(例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质)和内嵌系统软件,可提供跨平台文件共享功能;SAN被定义为互连存储设备和服务器的专用光纤通道网络,它在这些设备之间提供端到端的通讯,并允许多台服务器独立访问同一个存储设备。

近年来,数据呈现井喷式爆发性增长,根据IDC预测,到2020年,总体企业数据将达到44ZB,其中80%的数据是非结构化数据(图片、视频、归档以及企业级备份等各种数据)。杨锦涛说:“传统企业存储都有一个共同的特征——只能垂直扩展(Scale-up),比如存储柜容量不够用了,只能再买个存储柜,它在管理、成本、容量和性能方面都存在一定的问题,满足不了海量非结构化数据的存储需求。”

为了满足海量非结构化数据的存储需求,整个企业级存储市场慢慢从“垂直扩展”向“水平扩展”转变,形成了新一代企业级存储,具体包括块存储、文件存储和对象存储。其中,图片、视频等非结构化数据是文件存储和对象存储的典型应用场景。IDC最新研究报告显示,到2021年,文件存储和对象存储的数据容量总和高达400EB左右,其中对象存储将达到350EB,占据总数的75%。读到此处,很多人不禁要问,对象存储究竟是何方神圣?

在企业级市场里,对象存储已经过了教育阶段

对象存储经常被比作在一家高级餐厅代客停车。当一个顾客需要代客停车时,他就把钥匙交给服务员,换来一张收据。这个顾客不用知道他的车被停在哪里,也不用知道在他用餐时服务员会把他的车移动多少次。

对象存储技术(OBS,Object-Based Storage)采用了“对象”数据组织,克服了 NAS与 SAN 的不足,它既有“块”接口的快速,又有“文件”接口的便于共享。对象使文件数据和存储元数据管理进行分离,突破了 SAN 的文件共享限制和 NAS 系统中常见的数据路径瓶颈。对象由数据、属性及操作组成,在安全性、跨平台数据共享、高性能、可扩展等方面更胜一筹。

对象存储的特性主要有四点:

1、容量无限扩展。OBS所有业务、存储节点采用分布式集群的方式进行工作,各功能节点、集群都可以独立扩容,整个扩容过程对用户完全透明。用户只需尽情地享用云存储带来的无限空间,不必预测未来的存储需求并可以按需要向上和向下扩展,从而大幅度提高业务的灵活性。

2、数据可靠性更高。通过提供对象数据多份冗余和保证多份对象数据一致性自动修复技术来提供对象数据的高可靠性。OBS系统设计的数据持久性高达99.999999999%,假如对象存储中有1000亿个用户文件,每月最多只有1个文件可能发生数据丢失。

3、用户数据更安全。用户数据传输到OBS时支持SSL加密,同时,OBS通过AK/SK对访问用户的身份进行鉴权,确保数据传输与访问的安全。此外,用户上传的数据在对象存储服务中分片存储在不同的硬盘上,即便磁盘数据被盗走,也无法将其还原成对象数据。

4、维护成本更低。由于数据存储在OBS中,企业无需招聘专门的存储设备维护人员,设备的维护交由OBS处理即可。

对于对象存储,多数业内人士的较早印象来源于2006年亚马逊推出的S3,其实对象存储的出现比S3要早。青云把对象存储的发展历程分为四个阶段(如下图):

如上图所示,2010年-2016年是企业接纳期,很多基于开源技术成立的公司推出了一系列存储产品和方案,青云也于2016年1月推出了QingStor对象存储1.0版,杨锦涛说:“我们与很多公有云、私有云客户进行了沟通,开始的时候还需要跟他们解释什么是对象存储,能解决什么问题。到了今年,我们再交流的时候已经不需要讲这些,只需要讲对象存储具有什么样的业务场景。在企业级市场里面,对象存储已经过了教育阶段,正在被市场接纳。”

在公有云上对象存储已经比较成熟

不久之前,QingStor对象存储2.0正式商用,相较于上一代产品,其在技术架构、产品体系及产品功能上均做出了重大升级。在此次媒体沟通会上,李威表示,QingStor对象存储现在的架构就是“软硬一体的,可独立部署的、统一调度的全新分层架构”,已经在保险、快消、制造和互联网金融等行业得到了广泛的应用。他还详细介绍了QingStor对象存储的九大应用场景,具体包括:web和移动应用、企业网盘、静态网站托管、大数据分析、IaaS/PaaS服务、图片处理、视频云、备份归档和数据迁移。

如今,新华三、华为等传统硬件服务商和多数公有云厂商都推出了对象存储。“在公有云上,对象存储已经相对成熟了。”李威说。然而在私有云层面,对象存储才刚刚起步,“对象存储需要独立部署,在私有云层面,架构全都是耦合在一起的,要想拆开变成一个独立的产品,技术上比较难实现。”李威补充到。

不过,青云实现了。“青云对象存储产品走的是混合路线,我们既做私有化的交付,也做公有云服务。” 杨锦涛说。升级后的QingStor对象存储新增了私有云一体化解决方案,该方案是在收集了大量企业需求后构建而成的,能够满足海量多样文件的统一存储管理、数据处理和大数据分析,极大地降低了传统集中式存储的成本,并提升了企业存储的性价比和易用性。在对象存储被企业接纳的早期阶段,QingStor对象存储私有云一体化解决方案的推出必将引起一轮跟风热潮。(文/郭敏)

原文发布于微信公众号 - 数据猿(datayuancn)

原文发表时间:2017-11-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏领域驱动设计DDD实战进阶

DDD实战进阶第一波(十五):开发一般业务的大健康行业直销系统(总结篇)

1803
来自专栏java达人

软件开发接力赛的最后一棒:上线发布

新产品新功能开发、测试完成后,就需要上线发布,可能中间还有个预发的过程,但一般的小团队没有精力也没有能力去维护这么多的环境。上线之后,绝非万事大吉,你将面临一大...

1788
来自专栏python学习指南

计算机系统结构——01结论

1.1 计算机系统的层次结构 从使用语言的角度,一台由软、硬件组成的通用计算机系统可以被看成是按功能划分的多层机器级组成的层次结构。具体的计算机系统,其层次数的...

2308
来自专栏牛客网

百度测试开发实习生一面面经

2325
来自专栏顶级程序员

相较其他语言,Python到底好在哪儿?

就个人发展而言,选择学习的技术与要就读的大学可谓同等重要。如果决定做错了,那往往会收到一堆麻烦,而不是想要的高薪工作。我想,现在你点开这篇文章,就代表你已考虑选...

1133
来自专栏程序员互动联盟

如何深入学习C语言?

疑惑一 遇见编译错误了咋办? 经常见有小伙伴,呼呼的把一大段的编译错误呈现在群里,然后问这是啥原因,其实解决编译的办法还是挺多,现在重点说下编译错误是怎么出来的...

3815
来自专栏菩提树下的杨过

ROR学习笔记(2):Asp.Net开发者看ROR

ROR集成了诸多"先进"的理念,比如mvc,模板替换,orm,实体验证,ajax,数据库迁移,session的多种保存机制...等等,也许在今天看来,这些东西都...

1828
来自专栏包子铺里聊IT

[包子分享] 构架模式: Microservices Architecture

http://baozitraining.org ---- ? 微服务构架是近年来比较流行的服务端应用构架,由其非常好的可伸缩性,稳定性以及灵活的协同开发模...

3046
来自专栏马洪彪

C#.Net与MATLAB集成

在数学分析工具方面,MATLAB无疑是佼佼者,除了作为软件工具外,MATLAB的自定义编程语言以及混合编程的支持,使其可以与Python、R之类数学分析语言媲美...

3057
来自专栏Golang语言社区

Go语言·不服就干

不知不觉,我们团队选择go语言已经两年了,从最开始摸着石头过河到现在的驾轻就熟,感慨万千,总结来说:不服就干。 孙悟空不服天庭,所以大闹天空,那我们不服谁呢?可...

3166

扫码关注云+社区