前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >腾讯云深度归档让数据从磁带走向云端

腾讯云深度归档让数据从磁带走向云端

原创
作者头像
云存储
修改2020-11-27 15:12:38
3.4K0
修改2020-11-27 15:12:38
举报
文章被收录于专栏:腾讯云存储

在数字化转型浪潮中,如何存储和利用好数据,是企业面临的首要问题。相比于传统互联网全面拥抱云,产业互联网在数字化转型过程中,通常第一步是利用云存储来归档数据。

随着业务的增长,企业积攒了大量重要数据,一些数据在经过清洗和处理后,需要长期保存,以备将来进一步分析;一些数据则是出于行业监管和合规的要求,需要长期保存。典型的数据归档业务场景包括:

  • 金融交易:交易日志、票据影像、双录视频;
  • 视频监控:安防监控、交通监控、个人视频监控;
  • 生命科学:医疗影像数据、电子病例、基因测序数据;
  • 广告营销:电子商务日志、广告营销日志;
  • 娱乐游戏:短视频、社交数据、游戏日志;
  • 媒资视频:视频影像、在线课程视频;
  • 自动驾驶:视频采集、遥感监控、激光雷达;
  • 科研教育:天文观测、高能物理、海洋监控、油气勘探、地震预测。

谈到数据归档,就绕不过磁带库。

一、磁带库的问题和挑战

从第一款磁带机面世,磁带技术已经有50多年历史了。虽然磁带技术经过多轮演进,并在企业级数据归档存储市场上占有特殊地位,但是仍然面临很多问题和挑战:

  • 前期投入大,需要一次性投入购买磁带库,需要复杂的管理和运维工作;
  • 磁带长期保存需要特殊的物理环境条件,一旦受潮,磁带会退化或者霉变,即使看起来完好无损,数据也可能无法恢复,数据丢失的风险非常高;
  • 虽然磁带具备比较长的寿命,为了保证数据可靠性,需要定期进行数据迁移,这是一项耗时费力的任务;
  • 数据恢复时间长,对于离线保持的磁带,需要人工参与恢复流程;

公有云发展到今天,云存储产品通过不断的创新,在保证安全、可靠的基础上,存储成本得到持续降低。对比传统磁带库归档方案,客户有了更具性价比的选择。

二、腾讯云深度归档介绍

腾讯云近期发布了深度归档存储,一款新的对象存储COS类型,可以提供低成本、安全持久的数据存储服务。相比于低频存储和归档存储,其价格更低,适用于存储访问频率极低(如半年一次)但需要持久存储的数据,如日志审计数据,安防监控数据等。其安全性、持久性、低价格等特性,能最大程度的满足冷数据存储的诉求。

深度归档存储在软件架构、硬件设备、任务管理系统上都进行了全新升级,通过全新的架构最大程度的提升设备的利用率,为用户降低存储成本。深度归档存储费用仅为0.01元/GB/月,对比磁带归档,总体TCO下降20%

深度归档提供两种数据恢复选项:

  • 标准模式:数据可以在12小时内完成恢复;
  • 批量模式:恢复成本低,数据可以在48小时内完成恢复;

对比传统磁带库,云上归档提供了更简单、更快速的数据恢复服务。

同时,深度归档存储具备99.999999999%(11个9)的数据持久性,比传统磁带库提供更高的可靠性。

三、云上归档解决方案

  • 结合商业备份软件服务

当前,主流商业备份软件都完成了与腾讯云对象存储COS的对接认证,客户可以根据归档数据的保存时长、访问频率、恢复时间等条件,选择合适的对象存储COS类型作为归档介质库。

在不改变现有归档业务流程的情况下,通过备份软件上创建对象存储COS归档介质库,并配置访问Bucket相应的权限认证信息,就可以将数据直接归档上云。

架构上,备份软件通常由备份管理服务器、备份服务器和备份客户端构成。备份服务器直接访问对象存储COS,支持类型包括标准存储、低频存储、归档存储和深度归档存储。

备份服务器将数据压缩、去重后,可以直接写入深度归档存储,或者先写入标准存储后,通过生命周期管理自动沉降到深度归档存储。例如,7天以内的数据保存在标准存储,便于随时恢复数据;7 ~ 30天的数据沉降到低频存储,作为温数据以备突发访问;超过30天后,沉降到深度归档,进行长期归档存储。

云上归档解决方案提供端到端的加密服务,确保数据安全。默认情况下,数据通过HTTPS协议加密传输上云,保证数据传输过程中的安全。通过备份软件自身的加密功能,或者对象存储COS的加密服务,数据加密后存储,保证数据存储过程中的安全。

  • 通过文件存储网关归档

如果备份软件还不兼容对象存储COS,可以借助CSG文件存储网关,通过备份软件创建NAS归档介质库,间接归档数据到云上深度归档存储。

文件存储网关(Cloud Storage Gateway,CSG)是一种混合云存储服务,CSG 使用标准文件共享协议访问位于对象存储 COS 中的数据,无缝接入公有云,实现数据的上云。可以根据业务需求灵活地部署在云上或者本地,轻松地进行数据的上云、归档以及灾难恢复。

CSG会缓存热数据来保证本地访问性能,同时会将全量数据保存至 COS 中以确保数据的安全持久性。CSG 能够根据时段分配调度上传下载的带宽,在带宽资源紧张时,可以限制网关占用的带宽,以免影响自有业务;而在业务空闲时则可放开限制,充分利用带宽资源。 

数据上云后,同样借助COS生命周期管理功能,完成数据沉降到深度归档,进行长期归档存储。

  • 离线数据搬迁上云

如果本地数据中心还没有拉通专线,或者存量归档数据规模比较大,可以通过云数据迁移服务CDM专用设备,进行大规模离线迁移数据上云,从而获得深度归档带来的好处。

云数据迁移(Cloud Data Migration,CDM)是腾讯云提供的 TB~PB 级别的数据迁移上云服务。提供安全可靠的离线迁移专用设备,解决本地数据中心通过网络传输时间长、成本高的问题。

CDM 迁移设备使用标准的电源,支持 ext4、NFS、CIFS、HDFS 等多种文件系统,用户无需担心数据中心环境兼容问题。

采用256位加密密钥对数据进行自动加密,保证第三方无法从磁盘获取文件信息。迁移完成后,对设备上的数据进行彻底擦除,确保数据不会被泄露读取。

四、云上归档的主要优势

  • 更高的可靠性

深度归档对象存储提供数据跨多数据中心、多设备冗余存储,为用户数据提供异地归档容灾服务,实现高达99.999999999%(11个9)的数据持久性,数据的耐久性远高于磁带库。

  • 端到端的加密保障数据安全

对于数据的存储,对象存储服务端加密可以对存储的数据进行加密,保证用户的隐私,用户访问时会自动解密。对于数据的传输,对象存储提供用 HTTPS 部署 SSL 证书实现加密的功能,在传输链路层上建立加密层,确保数据在传输过程中不会被窃取及篡改。

  • 成本低、免运维

使用深度归档存储,您无需采购硬件、部署和运维,避免前期高额投入,节省了运维工作和托管成本。对象存储支持按需按量使用,您无需预先支付任何预留存储空间的费用,对比磁带库总体TCO降低20%。

  • 数据恢复时间短

整个数据恢复流程完全自动化,无需人工参与。采用标准恢复模式下,数据可以在12小时内完成恢复。

  • 支持跨区域数据复制功能

通过配置对象存储跨地域复制规则,可以在异地区域的存储桶中自动、异步地复制数据,满足行业对归档数据跨地域保存的合规性要求。

  • 兼容性主流备份软件

目前,支持对象存储COS的主流商业备份软件厂商包括:Commvault、Veritas、Veeam、爱数、鼎甲、云信达、木浪云、科力锐等。后续会有更多的厂商完成对接和认证。

五、写在最后

数字化转型为企业业务的快速增长提供原动力,数据作为企业核心资产,需要高可靠、低成本的归档方案。随着腾讯云COS深度归档的发布,结合商业备份软件、云存储网关、离线迁移工具,腾讯云为企业的核心数据资产提供了高性价比的归档解决方案,助力企业数字化转型。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、磁带库的问题和挑战
  • 二、腾讯云深度归档介绍
  • 三、云上归档解决方案
  • 四、云上归档的主要优势
  • 五、写在最后
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档