浅谈数据降维技术

作者:Li Ke Zhao

数据降维(Data Reduction),也叫做数据缩减技术,是一系列降低数据存储空间技术的总称。通用的精简卷,传统RACE (Random Access Compression Engine)压缩卷技术也都包含在广义的Data Reduction的范畴之内。随着IBM Spectrum Virtualize 8.1.3 版本的发布,去重(Deduplicated)卷正式加入到了SVC产品系列中,至此Dedupe,Data Reduction Compression(8.1.2引入),UNMAP空间回收(Space Reclamation) 等新技术组成了新一代的Data Reduction解决方案。本文章着重介绍新一代的Data Reduction技术。

数据降维(Data Reduction)技术可以提高存储效率和性能,并极大地降低存储单位成本。它通过回收主机系统不再需要的存储空间,减少外部存储系统和内部驱动器上存储的数据量。它可以达到2~5倍的空间节省,这对于AFA用户来说非常重要,使他们能在享受高性能的存储同时极大的降低单位存储的成本。就拿Storwize AFA系列存储来讲,每GB的闪存价格可以控制在$0.5/GB到$0.3/GB之内。

在这里我们只介绍新一代的Data Reduction技术,也就是基于数据降维池(Data Reduction Pool, aka DRP)的数据降维。DRP支持SCSI UNAMP和空间回收(Space Reclamation)功能。如果数据删除,覆写或者被标记为可回收,主机会通过执行SCSI UNMAP命令来告诉存储来释放空间,这些称为可回收容量(Reclaimable capacity, 也叫做unmapped capacity)。可回收容量可以被其他卷继续使用,以达到节省空间的目的。除了空间的节省之外,UNMAP还可以节省很多存储系统的工作和负载,比如RAID Arrays在rebuild的时候,不需要重建unmapped capacity的空间,Flash drive可以提前对这些空间进行一些与擦除的操作等。另外,通过SVC等存储管理软件也可以直接向后端存储(后端存储需要支持UNMAP)发送UNMAP命令来删除或者回收数据。

DRP中的卷类型包含普通(Full Allocated)卷和精简(Thin-Provisioned)卷。压缩卷,去重卷以及去重压缩卷,都是建立在精简卷的基础之上的,关系如下图所示。目前IBM Virtualize产品线都已经支持Data Reduction和Dedupe功能(详细支持清单可参考文章尾附图)。

去重卷(Deduplication volume)是在IBM Spectrum Virtualize v8.1.3版本首次引入的。去重卷在精简卷或者压缩卷之上提供了额外的数据消除功能。在去重卷中,通过计算基于哈希算法的签名来识别数据。比如,在SVC中,当有新的数据需要写入,系统通过比较签名来判断数据是否为重复数据,如果已经存在相同的签名,那么即将写入的新数据是重复数据,可以写入一个指向数据位置的链接来代替写入,这样便达到了重复数据的在线实时删除。这样在线的实时数据删除技术极大的节省了时间和空间。

在处理签名比对的过程中,SVC通过一个数据库来储存签名与实际数据地址的映射,让查找和处理数据的速度更高效快捷。例如:有新的写操作需要处理,系统会先查找数据库中的签名,如找到则写入连接地址,如未找到,则数据写入存储,并更新签名。这个数据库的记录可以在整个DRP中所有的去重卷,和所有的包含去重卷的节点上共享。下图是去重的示意图

最后就是要回答如何迁移已有的客户数据到Data Reduction Pool的问题了。由于DRP与传统RACE压缩方法的不兼容,使得RACE压缩卷和DR压缩卷不可以共存在同一个Pool内,RACE压缩卷也不能和去重卷共存在一个IOGRP内(更多详细限制请参考附图)。要在线迁移数据,可以通过添加新的iogrp来完成,或者先将RACE压缩卷转换成普通精简卷,然后在使用以下添加副本的方式做迁移。通过副本迁移的大致做法都是在DRP中创建一个新的副本,等同步结束后移除原先的副本即可,具体步骤可参考https://www.ibm.com/support/knowledgecenter/ST3FR7_8.1.3/com.ibm.storwize.v7000.813.doc/svc_icmigratedataredtoreg.html,示意图可参考下图动画

附图:IBM 虚拟化产品线不同产品对去重卷的支持表格

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180720G0T6NU00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券