对象存储的演进之路

每年创造的数据量都在呈指数级速度增长,几乎每个企业现在都依赖于技术,而这些业务所产生的信息可以说已经成为他们最大的资产。非结构化数据是最好的存储类型,其增长幅度最大。那么,我们如何使用对象存储技术,以及我们能够期待它带来什么?

什么是对象存储?

对象存储的发展源于对长期存储大量分结构化数据的高度弹性需求,回顾过去的20奶奶,我们有块存储(传统存储)和NAS设备(通常也作为文件服务器)。NAS并没有真正扩展到PB级,并且也没有提供长期数据保留的弹性水平。一般来说,企业使用磁带(Tape)来满足需求,但磁带是缓慢而低效的。

开发的对象存储通过提供在线访问内容来填补空白,多年来已经发展成为一种成熟的技术。利用纠删码(erasure coding,EC)等新的保护方法,通常可以解决在大型档案中数据保护的问题。

对象存储使用基于Web的协议来存储和检索数据,从本质上讲,大多数提供四个基元CRUD:创建(Create)、读取(Read)、更新(Update)、删除(Delete)。在很多情况下,Update只是为了与Delete和Create搭配。这意味着使用嵌入数据和关联元数据的HTTP发出基于REST的API调用与对象存储进行交互相对简单。

这种简单的操作突出了对象存储的一个问题:应用程序需要重新写入以使用对象存储API。厂商通过提供SDK来帮助完成这一过程,但需要更改应用程序。这个问题让我们看到了对象存储演进的第一个对象:多协议访问。

多协议

对象存储实现多协议访问已经有一段时间,以网关或附加软件的形式使用对象存储后端作为大容量池。这一举措带来的问题是它们是否真正提供来自不同协议栈的相同数据的并发访问。使用NFS存储和检索对象可以,但是使用NFS存储和使用基于Web的协议访问又会怎么样?

为什么企业希望有能力存储一种协议并通过另一种协议访问?提供NFS意味着应用程序可以在不修改的情况下使用对象存储。通过提供并发的基于Web的范文,分析工具可以访问数据,而不会引入以NFS协议相关的性能问题,例如锁定或多线程冲击同一对象。分析软件的典型值读配置文件意味着可以在不影响主应用的情况下分析数据。

很多物联网设备只能通过NFS存储,因此将这类内容纳入对象存储意味着基于文件的协议至关重要。

可扩展性

影响对象存储应用的一个因素是收缩的能力,而不仅仅是扩展。很多对象存储解决方案的初始容量为数百TB,这对于较小的IT组织来说并不实用,厂商们开始通过生产可以收缩到数十兆字节容量的产品来解决这一问题。

显然,大容量硬盘和闪存可能会成为一个问题,但是可以实现对象存储带来的功能优势。因此,厂商提供的解决方案是纯软件的,可以部署在专用硬件上,也可以作为内部部署或公有云中的虚拟实例部署。

随着物联网的不断发展,数据将会出现爆炸式增长,大量的小型对象存储将证明在满足物联网持续需求方面的优势。

软件定义

回到纯软件解决方案,提供纯软件解决方案意味着企业可以为他们的环境选择正确类型的硬件。在硬件供应合同已经存在的情况下,企业可以简单地支付对象存储软件并将之部署在现有设备上,这包括对可能以其他方式处理的旧硬件进行测试。

开源

对象存储软件定义的另一个发展方向是开源,Ceph是作为开源模式开发的存储平台之一。OpenIO提供了与无服务器一样的高级功能,可以提供相同的体验,作为优质服务收费。另一个开源解决方案Minio最近获得了2000万美元的资金,将其平台推向更广泛的受众,包括Docker容器。

试用版

对软件的关注意味着组织很容易尝试对象存储,除了IBM Cloud Storage和DDN外,几乎所有供应商都通过下载软件或使用公司的实验室环境提供某种试用流程。提供试用版可以为软件带来开放性,以便于长期评估和采用。

未来如何发展

考虑对象存储的未来,可以说最近的发展方向是使解决方案更易于使用,更注重软件和厂商的开发易用性和安装。多协议连接更多的应用程序,使数据更容易进入对象存储。在未来几年内,我们将看到对象存储仍然是持久数据存储的重要平台。

原文发布于微信公众号 - SDNLAB(SDNLAB)

原文发表时间:2018-03-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯大数据的专栏

守护客户数据价值:企业级NewSQL HTAP分布式云TBase架构详解

2626
来自专栏PingCAP的专栏

TiDB 在摩拜单车在线数据业务的应用和实践

摩拜单车于 2015 年 1 月成立,2016 年 4 月 22 日地球日当天正式推出智能共享单车服务,截至 2017 年 11 月中旬,已先后进入国内外超过 ...

2701
来自专栏PPV课数据科学社区

【学习】百万级别数据,数据库Mysql,Mongodb,Hbase如何选择?

情况说明: 现在需要做一个数据存储,500w左右的数据,日后每天大约产生5w条左右的数据。想把这些数据存储起来,供日后的数据分析用?使用上面说的三种数据库中的哪...

4208
来自专栏腾讯云serverless的专栏

陈杰:无服务器架构,让云端开发更纯粹

在微服务还方兴未艾的时候,无服务架构就以其弹性伸缩、按需付费以及无维护等特点得到了很多开发者的青睐。腾讯架构平台部技术专家陈杰表示,云函数的核心理念就是给整个服...

3517
来自专栏喔家ArchiSelf

IoT设备的自我测试

东西坏了,事情也出了差错。 简单的说就是 XX发生了。 不管用什么词,事实上我们都生活在一个不完美的世界里。 在嵌入式系统中,有很多失败的可能。 在简单的系统中...

753
来自专栏腾讯云技术沙龙

林帅康:云上构建容器化的科学计算平台

一般来讲,在云端构建大规模计算集群是难以实现完整的资源自治的。那么在计算任务运行容器化之后,应当如何进行云上构建计算集群并对大规模容器进行管理呢?请看这篇文章。

2093
来自专栏数据和云

从商用到开源:DB2迁移至MySQL的最佳实践

身处数据驱动快速变革的时代,数据库系统的选型和架构设计对于整个IT基础架构,甚至企业的发展都起到至关重要的作用。那么今天,如果您的企业需要搭建一套新的应用系统,...

2877
来自专栏JetpropelledSnake

Python Web学习笔记之CPU时间片

时间片即CPU分配给各个程序的时间,每个线程被分配一个时间段,称作它的时间片,即该进程允许运行的时间,使各个程序从表面上看是同时进行的。如果在时 间片结束时进程...

39211
来自专栏美团技术团队

sysbench在美团点评中的应用

如何快速入门数据库?以我个人经验来看,数据库功能和性能测试是一条不错的捷径。当然从公司层面,数据库测试还有更多实用的功能。这方面,美团点评使用的是知名工具sys...

3184
来自专栏数据和云

【MySQL 5.7.17】从主从复制到Group Replication

时值双十二之际,MySQL官方献上了大礼,Group Replication(后文简称GR)终于正式宣布GA,组合在MySQL 5.7.17版本内部发布出来。 ...

3158

扫码关注云+社区