专栏首页云加头条邹方明:看腾讯云如何架构海量存储系统
原创

邹方明:看腾讯云如何架构海量存储系统

回首腾讯云存储十年的历程,腾讯云存储业务中心总监邹方明将其划分为四个阶段:萌芽时代、图片时代、视频时代和云时代。

腾讯云存储面临的第一个大挑战正是在UGC图片时代兴起之初。当时,传统的三层储存架构模式在性能、IO及成本方面都明显难以招架海量的日志和图片上传。腾讯云存储适时推出了系统自动化运营方案,通过实时监测物理区域,在3秒内就能做出反应,对校表储存量超过80%的存储磁盘进行扩容,极大地节省了传统扩容方式所耗费的时间与人力。

腾讯云存储业务中心总监邹方明

但在自动化扩容运营系统基本适应图片时代后,新的问题开始出现:当空间、动态以及QQ、朋友圈相册每天上传量高达20亿级别的时候,文件删除量也达到了50%,之前设计的磁盘条带化整理系统遭受挑战。为了便于磁盘的自动回收,腾讯云存储将磁盘分成同等大小的空间并进行分片分头的整理,留存出10%到15%的冗余利用率,解决了当时的问题。

当腾讯云存储的数据储存增长量在四年时间内从100P到1000P,腾讯云存储接到的需求也不断增多。面对超大容量源文件存储设备消耗量大、维护成本高的问题,腾讯云存储通过文件压缩、转码、解码的方式,将一个文件一个索引转换为多级索引,每个级别索引仅代表一个小分片,把这些小分片累积起来以支持更大的存储,强力解决了这一问题。同时,腾讯云存储通过设计纠删码的方式,为文件留出3—4份纠删冗余并分别存在多台设备里,最终使文件存储大小压缩到1.3—1.4份,极大的减少了原先存储的设备量。

同时,这一纠删码技术也运用到信息安全保障中:在单地数据中心出现问题时,这一技术能保障另一共存数据中心能及时完整地进行数据的整合并恢复归档,在降低成本的同时,极大程度地保障数据的安全。

点击下载演讲资料:

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • EB级别云存储是如何涨成的?

    腾讯云存储服务,从开放至今,已支撑EB级存储规模。面对存储规模快速增长、应用数据多样化等挑战如何应对?

    云加社区
  • 轻松入门腾讯云存储系列三:对象存储COS 使用入门三种方式

    腾讯云目前支持三种不同的方式来登录和管理您的对象存储,请您根据自身场景灵活选择登录方式:控制台,CLI和API/SDKs。

    云加社区
  • 用IT加速 BT,腾讯云发布生物基因解决方案

    近年来,随着生命科学行业的不断发展,生物基因领域数据爆炸式地迅速增长,如何快速传递、安全存储、高效计算这些数据,是基因企业、科研工作者面临的新挑战。

    云加社区
  • 如何集成云层与本地存储

    云和本地存储正走向越来越紧密的整合,于是云成为了另一个存储管理员可用的层级。 ? 组织不大可能把100%的数据都移到云服务上,但大多数企业都会至少想让一部分数据...

    静一
  • NoSql数据库的主要模型

    KVP键值对模型 是一组两个关联的数据项,非常简单,有很高的灵活性和可扩展性 随着数据量的增加,KVP的计算也自然增加,所以使用KVP模型的数据库是指数型的 典...

    dys
  • Docker 私有仓库安装配置 (Registry v2)

    使用 Docker Compose + Docker machine 配置一个 Docker 私有仓库。

    康怀帅
  • 4 串

    数据结构中,字符串要单独用一种存储结构来存储,称为串存储结构。这里的串指的就是字符串。

    TeeyoHuang
  • angularjs MVC、模块化、依赖注入详解

    一、MVC ? <!doctype html> <html ng-app> <head> <meta charset="utf-8"> ...

    柴小智
  • PHP获取对象属性的三种方法实例分析

    今天查看yii源码,发现yii\base\Model中的attribute()方法是通过反射获取对象的public non-static属性。记得以前看到的代码...

    猿哥
  • 全球媒体热评美国封杀华为:一场没有赢家的战争

    据财联社最新消息,华为消费者业务CEO余承东透露,华为面向下一代技术而设计的操作系统OS最快在今年秋天、最晚于明年春天将可能面市。这套系统打通了手机、电脑、平板...

    人称T客

扫码关注云+社区

领取腾讯云代金券