学习
实践
活动
专区
工具
TVP
写文章
专栏首页腾讯技术工程官方号的专栏冷数据备份存储技术探索

冷数据备份存储技术探索

赖守锋

本文作者:赖守锋,2001年毕业于湖北工业大学,从事多年智能控制器和存储服务器的硬件和驱动开发。在腾讯主要负责存储机型及存储部件的规划,应用咨询及故障处理相关工作。

前言

2016中国大数据产业峰会上,pony以腾讯的天津数据中心的事例,讲述了数据中心的存储和安全,考虑备灾中心的建设问题。公司从战略高度关注数据中心的数据安全性。

数据中心的数据安全性是一个多方面的问题,从IDC的风,火,水,电的建设,再到从小到一个存储bit,再到一个sector,一个硬盘,一台存储服务器,一个存储服务器集群再到一个数据中心。在此我们讨论的是备灾中心的存储介质选择的问题,从安全性,可靠性,介质成本以及相关的IDC建设成本上来分析未来可能采用的存储介质技术。

作为备份数据中心,应该具有以下几个特点:

1、由于备份数据中心不需要承载实时的业务,所以性能不需要太高;

2、数据容量大,所以需要存储介质成本低,密度高,功耗低,总体TCO低;

3、数据需要保存的时间长,所以需要长时间可靠的存储介质,运营维护简单可靠;

4、能快速恢复数据,备份的数据大,同时异地的网络传输带宽小的矛盾,所以需要备份的数据能快速运输,以方便数据搬运。

储存介质的分类和说明

谈到存储信息的媒体介质,从古来的龟壳,竹简,纸张到现代计算机系统使用的硬盘、内存等多种多样。这里我们只谈现代计算机系统的存储介质。

现代计算机系统的存储介质归纳起来有三种,分别是:磁,光,电。

磁存储,通常的表现方式有磁盘和磁带。在磁存储中信息的记录与读出原理是磁致电阻效应。磁致电阻磁头的核心是一片金属材料,其电阻随磁场变化而变化。磁头采用分离式设计,由感应磁头写,磁致电阻磁头读。原理如下图:

光存储,表现形式就是光盘,CD 、DVD、BLU-RAY等等。基本原理就是采用激光束经光路系统、物镜聚焦后照射到介质上(焦点处记录斑直径正比于波长λ,反比于聚焦系统的数值孔径NA),介质被激光烧蚀出小凹坑。介质上被烧蚀和未烧蚀的两种状态对应着两种不同的二进制数据。识别存储单元这些性质变化,即读出被存储的数据。原理如下图:

电存储,即电荷存储技术,表现形式有各种接口的SSD硬盘,SD卡等多种电子存储设备。

基本原理常采用浮空栅雪崩注入式MOS电路,简称为FAMOS。它与MOS电路相似,是在N型基片上生长出两个高浓度的P型区,通过欧姆接触分别引出源极S和漏极D。在源极和漏极之间有一个多晶硅栅极浮空在 绝缘层中,与四周无直接电气联接。这种电路以浮空栅极是否带电来表示存1或者0,浮空栅极带电后(例如负电荷),就在其下面,源极和漏极之间感应出正的导电沟道,使MOS管导通,即表示存入0.若浮空栅极不带电,则不能形成导电沟道,MOS管不导通,即存入1。结构图如下:

由于电子存储设备的高成本特性决定了其不可能在备份数据中心作为主要的存储介质。所以在下面的对比中不考虑,把主要的对比放在磁存储即大容量的磁盘、磁带和大容量的光存储---蓝光存储介质的对比上。

蓝光存储系统

蓝光存储系统是以蓝光光盘作为存储介质,集成机械手,蓝光驱动器等组成的可以提供文件级存储服务的存储系统。下图是蓝光得技术路线图:

现在市场上蓝光存储每张碟的最大容量是300G。随着技术的房展,到2017年可以到500GB每张,2019年可以到1TB每张。单位成本将不断的下降。以松下蓝光存储系统为例,已经发展到第3代。下图是单机部件结构图:

每个6U高度的存储单元左右两排各45个光盘匣,一台机器90个光盘匣,支持6~12个光驱,也可以在一个机柜内与其它存储单元共用光驱。每个光盘匣有12个光盘,一个存储单元可容纳45 X 2 X 12= 1080张光盘。一个44U的机柜可以部署6个这样的存储单元,共6480张光盘,每张300G,总容量就是1.944PB的存储容量。

蓝光的系统应用原理,可以通过以太网连接主存储服务器,通过备份软件备份到蓝光存储的文件服务的windows/Linux服务器上,通过文件服务器再把数据写到蓝光存储的设备上。

从数据完整性来评估,支持盘匣级别的RAID 0,RAID 1,RAID 5,RAID 6这些RAID组,即由一个盘匣内的12个光盘组成上述RAID组,相当于是12个磁盘做RAID。拥有盘匣级别的RAID 组,事实上已经可以做到单机上的冗余备份。磁带存储系统的架构与蓝光存储系统的架构基本是类似的。

蓝光光盘的价格相比机械硬盘并不算很廉价。但冷储存数据需要平衡冗余和寿命两个因素。蓝光的寿命要长于普通硬盘(云盘、监控盘)。对于『论持久战』的备份场景,蓝光存储的寿命优势明显。蓝光光盘相比机械硬盘,还有许多优势。蓝光盘更耐用,防水防尘,更好的承受温度的波动。蓝光盘库系统对数据中心几乎没有环境温湿度要求。数据能更快的恢复(对比于磁盘损坏的情况)。也由于重量轻的缘故而更容易运输。蓝光存储的另一个优点是省电。蓝光介质比机械硬盘省80%的电能。因此从能耗成本上可以完胜机械硬盘。

基于以上提到的收益以及更多其他因素,Facebook 联合 Panasonic 研发了蓝光存储系统,并且已经开始在生产环境商用。

(内置了蓝光碟的一列存储单元,来自Facebook北卡数据中心 - Photo: Rich Miller)

备份系统TCO对比分析

下图是磁盘、磁带、蓝光存储系统的技术特点的对比:

距2015年8月12号,天津港口爆炸中心已经快一周年了,你们可能不知道,腾讯的天津数据备份中心距离里爆炸点直线距离只有1.8公里,我们在当地的建筑受到了强烈的冲击波及,万幸对业务运营没有影响.

磁带与蓝光的TCO的对比,磁带主要有以下缺点:

在介质的采购成本上,以8T的磁盘和6T的磁带以及300G的蓝光单位成本对比,磁带最便宜,磁盘最贵。但是由于磁带对环境的要求比较高,湿度,温度要求苛刻,导致额外的IDC配套的冷却系统建设成本高,同时磁带需要经常性的倒带,防止磁带粘连从而使数据丢失,维护麻烦,从而总体TCO来看成本并不比蓝光低。同时磁带驱动器只兼容相邻的2代LTO的技术,不能像蓝光驱动器那样兼容所有的代数蓝光存储技术。因此相比磁带,蓝光存储寿命长,数据可达50年,对环境要求低,维护简单,是一个更好的备份存储技术选择。

按2PB存储容量为例,我们综合IDC建设,功耗,维护各方面来分析磁盘存储系统和蓝光层出系统的TCO情况,如下表所示:

可以看到5年这个时间点上,磁盘由于故障率高企而需要更新换代,所付出的成本已远远超过蓝光。并且蓝光存储的成本优势,会随着时间的推移而愈发明显。(这其中考虑了空调系统建设的会用,电力系统建设的费用等问题)

模块化备份中心创新

为便于备份数据在数据中心间迁移,快速转移备份数据,蓝光存储已经集装箱化。一个集装箱就是一个小的蓝光存储中心。一个集装箱内分别布置光盘存储、配电和空调、备件、室外空调设置,是一个微型化的可以快速移动的小型数据模块。在任何地方只要接上电力和网络通讯,就可以投入工作。当数据需要恢复时,直接把集装箱运到当地的数据中心,远比通过互联网带宽进行网络恢复要快速。下图是集装箱式的蓝光存储系统示意图:

小结

备份数据中心是一个对成本敏感,但又非常重要的系统。通过对数据备份介质成本和运营成本的分析,我们认为蓝光存储将是一个较优选择。我们已在腾讯服务器实验室搭建一套蓝光存储系统,帮助具有大量冷备数据需求的用户评估适用性。

文章分享自微信公众号:
腾讯技术工程官方号

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!

作者:赖守锋
原始发表时间:2016-07-28
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • Oracle数据库冷备份与热备份操作梳理

    Oracle数据库的备份方式有冷备份和热备份两种,针对这两种备份的实施过程记录如下: 一、Oracle冷备份 概念 数据库在关闭状态下完成所有物理系统文件拷贝的...

    洗尽了浮华
  • 探索PostgreSQL数据存储存储之数据页

    用户4700054
  • 数据备份到对象存储(cos)

    之前我,写过利用bypy+crontab 实现定时数据备份到百度网盘, ,大家也知道百度网盘的一个缺点就是下载速度太慢,当然如果你是会员就当我没说,下面给你们...

    云计算小黑
  • 大数据的存储与备份,更离不开技术与创新

    根据IDC研究报告,未来10年全球数据量将以40%多的增长速度呈直线上升趋势,2020年,全球的数据量将达到35ZB(35,000,000PB),是2010年的...

    用户2292346
  • JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践

    企业数据越存越多,存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两...

    Juicedata
  • 【C语言】探索数据的存储(上篇)

    HelloHello,大家好,今天我们来一起来探索数据的存储问题,我将大概用2篇博客来写这块的内容,今天,利用这一篇先来完成一部分,介绍数据类型,整形在内存中的...

    平凡的人1
  • 元数据新型存储架构的探索

    一个软件产品存储架构是需要仔细斟酌和考虑的事情,既要保持稳定性也要保持跟上主流技术的发展趋势。元数据产品从最初主要支持关系型的数据管理到现在的大数据平台、数据湖...

    yuanyi928
  • 【C语言】探索数据的存储(下篇)

    我们想象一下,-1此时是放在unsigned int i里面的,对于无符号类型来说,站在它的角度来说,-1的补码是32个1,最高位不是符号位,所以代表很大的数,...

    平凡的人1
  • 数据库内部存储结构探索

     本文是左耳耗子推荐的Medium上的一篇关于MySQL的文章Some study on database storage internals,本人觉得文章十分...

    程序员历小冰
  • 云备份选项保护公共云存储数据

    如今,公共云供应商正在开发尖端产品,以使基于云计算的备份产品更有效地备份公共云的存储数据。 数据是当今大多数企业的命脉。而备份数据可能是IT行业人士最不喜欢做的...

    静一
  • 详解Android数据存储技术

    学习Android相关知识,数据存储是其中的重点之一,如果不了解数据,那么让你跟一款没有数据的应用玩,你能玩多久呢?答案是这和没有手机几乎是差不多的。我们聊QQ...

    达达前端
  • 数据备份的新选择:存储资源盘活系统

    存储系统作为IT系统的底层基础架构,存储技术进一步发展和推广对于整个信息产业具有重大意义。在数字化转型过程中,存储系统作为底层基础架构,其改造和实施过程需被重点...

    存储小白
  • 安卓开发_数据存储技术_内部存储

    听着music睡
  • 备份数据库的存储过程.sql

    CREATE PROCEDURE [dbo].[back_pubs] AS declare @filename nvarchar(100) set @fi...

    全栈程序员站长
  • 安卓开发_数据存储技术_外部存储

    听着music睡
  • 紫晶存储苏健:蓝光光盘打开「冷数据存储」市场,手握核心技术覆盖全产业链 | 镁客·请讲

    存储发展百花齐放,光存储带来新思路。 作者 | 来自镁客星球的家衡 各行各业的数据量暴增,早已成为有目共睹的现实。 据知名研究机构IDC的报告显示,受物联网(I...

    镁客网
  • 定时备份数据库的存储过程.sql

    CREATE PROCEDURE [dbo].[back_pubs_time] AS declare @filename nvarchar(100),–文件...

    全栈程序员站长
  • 详解使用对象存储服务备份NAS中的数据

    对数据备份有所了解的朋友应该都听说过“两地三中心”的备份模式,即热数据和备份数据处于同一城市,并且在异地再设立一个冷备份。虽然两地三中心的概念源自企业级解决方案...

    reizhi
  • 技术 | 数据仓库分层存储技术揭秘

    据IDC发布的《数据时代2025》报告显示,全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB,平均每天约产生491EB数据。随着数据量的不...

    CloudBest

扫码关注腾讯云开发者

领取腾讯云代金券