冷数据备份存储技术探索

赖守锋

本文作者:赖守锋,2001年毕业于湖北工业大学,从事多年智能控制器和存储服务器的硬件和驱动开发。在腾讯主要负责存储机型及存储部件的规划,应用咨询及故障处理相关工作。

前言

2016中国大数据产业峰会上,pony以腾讯的天津数据中心的事例,讲述了数据中心的存储和安全,考虑备灾中心的建设问题。公司从战略高度关注数据中心的数据安全性。

数据中心的数据安全性是一个多方面的问题,从IDC的风,火,水,电的建设,再到从小到一个存储bit,再到一个sector,一个硬盘,一台存储服务器,一个存储服务器集群再到一个数据中心。在此我们讨论的是备灾中心的存储介质选择的问题,从安全性,可靠性,介质成本以及相关的IDC建设成本上来分析未来可能采用的存储介质技术。

作为备份数据中心,应该具有以下几个特点:

1、由于备份数据中心不需要承载实时的业务,所以性能不需要太高;

2、数据容量大,所以需要存储介质成本低,密度高,功耗低,总体TCO低;

3、数据需要保存的时间长,所以需要长时间可靠的存储介质,运营维护简单可靠;

4、能快速恢复数据,备份的数据大,同时异地的网络传输带宽小的矛盾,所以需要备份的数据能快速运输,以方便数据搬运。

储存介质的分类和说明

谈到存储信息的媒体介质,从古来的龟壳,竹简,纸张到现代计算机系统使用的硬盘、内存等多种多样。这里我们只谈现代计算机系统的存储介质。

现代计算机系统的存储介质归纳起来有三种,分别是:磁,光,电。

磁存储,通常的表现方式有磁盘和磁带。在磁存储中信息的记录与读出原理是磁致电阻效应。磁致电阻磁头的核心是一片金属材料,其电阻随磁场变化而变化。磁头采用分离式设计,由感应磁头写,磁致电阻磁头读。原理如下图:

光存储,表现形式就是光盘,CD 、DVD、BLU-RAY等等。基本原理就是采用激光束经光路系统、物镜聚焦后照射到介质上(焦点处记录斑直径正比于波长λ,反比于聚焦系统的数值孔径NA),介质被激光烧蚀出小凹坑。介质上被烧蚀和未烧蚀的两种状态对应着两种不同的二进制数据。识别存储单元这些性质变化,即读出被存储的数据。原理如下图:

电存储,即电荷存储技术,表现形式有各种接口的SSD硬盘,SD卡等多种电子存储设备。

基本原理常采用浮空栅雪崩注入式MOS电路,简称为FAMOS。它与MOS电路相似,是在N型基片上生长出两个高浓度的P型区,通过欧姆接触分别引出源极S和漏极D。在源极和漏极之间有一个多晶硅栅极浮空在 绝缘层中,与四周无直接电气联接。这种电路以浮空栅极是否带电来表示存1或者0,浮空栅极带电后(例如负电荷),就在其下面,源极和漏极之间感应出正的导电沟道,使MOS管导通,即表示存入0.若浮空栅极不带电,则不能形成导电沟道,MOS管不导通,即存入1。结构图如下:

由于电子存储设备的高成本特性决定了其不可能在备份数据中心作为主要的存储介质。所以在下面的对比中不考虑,把主要的对比放在磁存储即大容量的磁盘、磁带和大容量的光存储---蓝光存储介质的对比上。

蓝光存储系统

蓝光存储系统是以蓝光光盘作为存储介质,集成机械手,蓝光驱动器等组成的可以提供文件级存储服务的存储系统。下图是蓝光得技术路线图:

现在市场上蓝光存储每张碟的最大容量是300G。随着技术的房展,到2017年可以到500GB每张,2019年可以到1TB每张。单位成本将不断的下降。以松下蓝光存储系统为例,已经发展到第3代。下图是单机部件结构图:

每个6U高度的存储单元左右两排各45个光盘匣,一台机器90个光盘匣,支持6~12个光驱,也可以在一个机柜内与其它存储单元共用光驱。每个光盘匣有12个光盘,一个存储单元可容纳45 X 2 X 12= 1080张光盘。一个44U的机柜可以部署6个这样的存储单元,共6480张光盘,每张300G,总容量就是1.944PB的存储容量。

蓝光的系统应用原理,可以通过以太网连接主存储服务器,通过备份软件备份到蓝光存储的文件服务的windows/Linux服务器上,通过文件服务器再把数据写到蓝光存储的设备上。

从数据完整性来评估,支持盘匣级别的RAID 0,RAID 1,RAID 5,RAID 6这些RAID组,即由一个盘匣内的12个光盘组成上述RAID组,相当于是12个磁盘做RAID。拥有盘匣级别的RAID 组,事实上已经可以做到单机上的冗余备份。磁带存储系统的架构与蓝光存储系统的架构基本是类似的。

蓝光光盘的价格相比机械硬盘并不算很廉价。但冷储存数据需要平衡冗余和寿命两个因素。蓝光的寿命要长于普通硬盘(云盘、监控盘)。对于『论持久战』的备份场景,蓝光存储的寿命优势明显。蓝光光盘相比机械硬盘,还有许多优势。蓝光盘更耐用,防水防尘,更好的承受温度的波动。蓝光盘库系统对数据中心几乎没有环境温湿度要求。数据能更快的恢复(对比于磁盘损坏的情况)。也由于重量轻的缘故而更容易运输。蓝光存储的另一个优点是省电。蓝光介质比机械硬盘省80%的电能。因此从能耗成本上可以完胜机械硬盘。

基于以上提到的收益以及更多其他因素,Facebook 联合 Panasonic 研发了蓝光存储系统,并且已经开始在生产环境商用。

(内置了蓝光碟的一列存储单元,来自Facebook北卡数据中心 - Photo: Rich Miller)

备份系统TCO对比分析

下图是磁盘、磁带、蓝光存储系统的技术特点的对比:

距2015年8月12号,天津港口爆炸中心已经快一周年了,你们可能不知道,腾讯的天津数据备份中心距离里爆炸点直线距离只有1.8公里,我们在当地的建筑受到了强烈的冲击波及,万幸对业务运营没有影响.

磁带与蓝光的TCO的对比,磁带主要有以下缺点:

在介质的采购成本上,以8T的磁盘和6T的磁带以及300G的蓝光单位成本对比,磁带最便宜,磁盘最贵。但是由于磁带对环境的要求比较高,湿度,温度要求苛刻,导致额外的IDC配套的冷却系统建设成本高,同时磁带需要经常性的倒带,防止磁带粘连从而使数据丢失,维护麻烦,从而总体TCO来看成本并不比蓝光低。同时磁带驱动器只兼容相邻的2代LTO的技术,不能像蓝光驱动器那样兼容所有的代数蓝光存储技术。因此相比磁带,蓝光存储寿命长,数据可达50年,对环境要求低,维护简单,是一个更好的备份存储技术选择。

按2PB存储容量为例,我们综合IDC建设,功耗,维护各方面来分析磁盘存储系统和蓝光层出系统的TCO情况,如下表所示:

可以看到5年这个时间点上,磁盘由于故障率高企而需要更新换代,所付出的成本已远远超过蓝光。并且蓝光存储的成本优势,会随着时间的推移而愈发明显。(这其中考虑了空调系统建设的会用,电力系统建设的费用等问题)

模块化备份中心创新

为便于备份数据在数据中心间迁移,快速转移备份数据,蓝光存储已经集装箱化。一个集装箱就是一个小的蓝光存储中心。一个集装箱内分别布置光盘存储、配电和空调、备件、室外空调设置,是一个微型化的可以快速移动的小型数据模块。在任何地方只要接上电力和网络通讯,就可以投入工作。当数据需要恢复时,直接把集装箱运到当地的数据中心,远比通过互联网带宽进行网络恢复要快速。下图是集装箱式的蓝光存储系统示意图:

小结

备份数据中心是一个对成本敏感,但又非常重要的系统。通过对数据备份介质成本和运营成本的分析,我们认为蓝光存储将是一个较优选择。我们已在腾讯服务器实验室搭建一套蓝光存储系统,帮助具有大量冷备数据需求的用户评估适用性。

原文发布于微信公众号 - 腾讯技术工程官方号(Tencent_TEG)

原文发表时间:2016-07-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序人生

思考,问题和方法

转眼已是七月。距我上次更新公众号,已经一月有余。离我加入 Arcblock,也有两月。如果把人看做一个运行的软件,那么这两个月我已经迭代好几轮,就像龙珠里在飞往...

1530
来自专栏流媒体人生

[H265/HEVC]开源项目

source url: https://bitbucket.org/multicoreware/x265

1374
来自专栏编程一生

多服务器终端交互利器--polysh和atnodes到高逼格日志中心

1874
来自专栏编程一生

Redis各种数据结构性能数据对比和性能优化实践

1532
来自专栏惶心 - 技术博客

被称为低价屠夫的 Virmach,实际体验如何?

Virmach 是一家比较久以前就听过的 虚拟主机 / VPS / 独服 厂商,因为比较低廉的价格被众多大佬称为低价屠夫。这次在黑色星期五以及网络星期一活动里面...

1K7
来自专栏数据和云

DBA入门之路:学习与进阶之经验谈

初入数据库之门的朋友们,总是关心如何能够快速提高,不断进步,事实上任何一个技术方向,都没有太多的捷径可走,勤奋与坚持必不可少,但是有一些方法和他人的经验可做借鉴...

3036
来自专栏镁客网

YOUMO,幽默?如今连插线板都这么会玩!

1363
来自专栏AhDung

【Xbox one S】开箱&开机&初入坑心得

身为一个资lao深nian单机游戏玩家,常年混迹在PC平台,但内心深处一直对主机有种迷之向往,感觉那才是单机游戏的正处之地,坐沙发上拿着手柄对着电视跌宕起伏才是...

3.5K3
来自专栏数据和云

数据库流行度10月排行榜:Oracle 王者归来和 Redis 青云直上

九月挥别,已经是金秋10月,2018只剩下最后一个季度,这是一个收获的季节,而 DB-Engines 的数据库流行度排行榜已经发布了10月数据。

1602
来自专栏Jerry的SAP技术分享

SAP成都研究院廖婧:SAP C4C社交媒体集成概述

当时,我的回答提到一点,SAP注重工作与生活的平衡,这也是SAP中国官网强调的一点。

932

扫码关注云+社区

领取腾讯云代金券