邹方明:看腾讯云如何架构海量存储系统

回首腾讯云存储十年的历程,腾讯云存储业务中心总监邹方明将其划分为四个阶段:萌芽时代、图片时代、视频时代和云时代。

腾讯云存储面临的第一个大挑战正是在UGC图片时代兴起之初。当时,传统的三层储存架构模式在性能、IO及成本方面都明显难以招架海量的日志和图片上传。腾讯云存储适时推出了系统自动化运营方案,通过实时监测物理区域,在3秒内就能做出反应,对校表储存量超过80%的存储磁盘进行扩容,极大地节省了传统扩容方式所耗费的时间与人力。

腾讯云存储业务中心总监邹方明

但在自动化扩容运营系统基本适应图片时代后,新的问题开始出现:当空间、动态以及QQ、朋友圈相册每天上传量高达20亿级别的时候,文件删除量也达到了50%,之前设计的磁盘条带化整理系统遭受挑战。为了便于磁盘的自动回收,腾讯云存储将磁盘分成同等大小的空间并进行分片分头的整理,留存出10%到15%的冗余利用率,解决了当时的问题。

当腾讯云存储的数据储存增长量在四年时间内从100P到1000P,腾讯云存储接到的需求也不断增多。面对超大容量源文件存储设备消耗量大、维护成本高的问题,腾讯云存储通过文件压缩、转码、解码的方式,将一个文件一个索引转换为多级索引,每个级别索引仅代表一个小分片,把这些小分片累积起来以支持更大的存储,强力解决了这一问题。同时,腾讯云存储通过设计纠删码的方式,为文件留出3—4份纠删冗余并分别存在多台设备里,最终使文件存储大小压缩到1.3—1.4份,极大的减少了原先存储的设备量。

同时,这一纠删码技术也运用到信息安全保障中:在单地数据中心出现问题时,这一技术能保障另一共存数据中心能及时完整地进行数据的整合并恢复归档,在降低成本的同时,极大程度地保障数据的安全。

点击下载演讲资料:

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

微信技术总监周颢:一亿用户背后的架构秘密

2824
来自专栏Android 开发者

[译] 更好的数据,更明智的决策:Google Play Console 和 Firebase 帮你分析你的用户

作者:Tom Grinsted(Google Play Console 的产品经理)和 Tamzin Taylor(Google Play 西欧区应用及游戏部主...

1552
来自专栏ThoughtWorks

Defects的启示 | 洞见

在过去的几个月,我做了一些实践,通过整理、讨论和分析项目上的Defects情况,来探索质量管理中的待改进点。最终发现,Defects实际上给质量管理带来了很多的...

1234
来自专栏美团技术团队

云端的SRE发展与实践

背景 SRE(Site Reliability Engineering)是Google于2003年提出的概念,将软件研发引入运维工作。现在渐渐已经成为各大互联网...

3499
来自专栏python开发者

"用户增长"--快速身份认证实现用户增长的技术和产品方案

"用户增长"--快速身份认证实现用户增长的技术和产品方案 1   引言 作为一个互联网产品,用户量的增长是一个非常重要的衡量指标。 这是一个集合了销售,市场,运...

1847
来自专栏腾讯大数据的专栏

一行代码,一个系统!您的 Crash 实时分析已上线

腾讯移动分析(MTA),将内部打磨多年的 Crash分析能力对外输出,在复杂的App生态下,专注于构建完善的质量体系,助力 App 研发者用一行代码拥有完整 C...

3351
来自专栏ThoughtWorks

云与性能测试 | 洞见

近年来,随着云计算技术的发展和各种诸如AWS、GCP、阿里云等云平台的日趋成熟,越来越多的的用户选择把系统搭建在云端,因此云测试的概念随即产生。云测试看字面意思...

4818
来自专栏DevOps时代的专栏

DevOps 与技术雷达

? 关于 Kubernetes Kubernetes 现在是当仁不让的首选容器编排平台,在技术雷达中,也将其标记为采用。社区也发展出很多 Kubernete...

2508
来自专栏SDNLAB

OPNFV第五版本Euphrates发布,集成容器化功能

OPNFV项目是通过集成,部署和测试促进各种开源生态系统网络功能虚拟化(NFV)组件的开发和演进的开源项目,今天宣布推出项目第五个平台版本的OPNFV幼发拉底河...

31811
来自专栏用户2442861的专栏

腾讯微信技术总监周颢:一亿用户增长背后的架构秘密

http://www.csdn.net/article/2012-05-15/2805581

1132

扫码关注云+社区

领取腾讯云代金券