EB级别云存储是如何涨成的?

作者:腾讯云存储产品中心 雷伟

前言

腾讯云存储服务,从开放至今,已支撑EB级存储规模。面对存储规模快速增长、应用数据多样化等挑战如何应对?大数据AI如火如荼,用户对数据存储的诉求从基本的稳定性、可靠性、性能到现在又发生了怎样的变化?对于未来,云存储服务又会为用户带来哪些新的机遇,和大家一起分享和探讨。

腾讯云存储的发展离不开每一个互联网用户的支持。已成必需品的微信、便利出行的滴滴、放松心情的QQ音乐,休闲时刻的腾讯视频等等,这些应用的极致服务背后都离不开腾讯云存储的支撑。

早在2006年,腾讯分布式存储系统平台TFS,就开始为腾讯集团所有的业务提供数据存储的服务。至2015年,规模已达EB级、用户数已达数十亿级别。TFS服务的对外开放,也就是今天大家熟知的腾讯云存储。

云存储的发展历程

虽然腾讯云存储对外提供服务时,已历经数十亿用户访问高并发、规模海量、业务多样化的考验,但不同的时代对云存储的诉求会有所不同。

2013年左右,国内最初使用云存储的用户较多是用于网站的静态数据存放和加速,如网站的图片、视频存储等。这个阶段可以理解为是基础的将数据存储并访问的诉求,故称为“数据访问”时代。

到2015年左右,随着基础设施的逐渐成熟,如4G网络的普及、智能手机高清摄像头的普遍、互联网社交及便利的手机支持方式带动了视频直播、视频点播的高速发展。云存储中的视频、图片比重逐步增长,为便于适配多样化的终端设备,图片需要裁剪、视频需要转码。自然而然,云存储也提供了这些通用服务。我们称其为“数据处理”时代。

近两年来,互联网的发展引发数据量的暴涨,也引发了大家对数据价值的探索和思考,大数据框架和生态工具的逐步成熟也让这一探索变得逐渐清晰。精准营销,风险控制,用户行为分析等等,这些都对存储提出了新的挑战,与大数据、机器学习框架是否能无缝对接,分析后的数据逐渐增长但很少使用,是否可以降低存储成本。称为“数据激活”时代。

数据访问时代

数据访问时代,腾讯云的CDN+云存储是一组完美搭档,CDN提供高速访问服务,存储作为源站,便于中心层节点未命中时,可以快速从源站拉取数据。即使在CDN回源率较高的情况下,也能支撑住大量的并发访问。

对于用户已有源站的情况下,如何将源站内容快速迁移到云存储,也应生出“回源设置”的功能。即当发现数据在云存储缺失时,返回HTTP状态码302重定向到源站,同时,将源站数据拷贝云存储中。这样也保证有效数据的迁移,并降低数据存储成本,实现快速高效的数据迁移。

数据处理时代

数据处理时代,为了适配不同的使用场景,大量的视频和图片需要进行视频转码、图片缩放、裁剪等,将这些常用功能可以直接在云端完成,可以减少用户的计算成本,降低下载视频和图片的带宽成本。为此,腾讯云也及时推出万象优图和视频处理服务,可以支持丰富的图片和视频处理功能,如图片压缩编辑及智能裁剪,视频多转码格式及水印设置等,并能方便的和云存储进行对接。

数据激活时代

数据激活时代,常见的场景有各垂直行业对日志的大数据分析,对视频监控和社交图片/视频的识别和分析等。以大数据分析的场景为例,除了云存储需要能和大数据框架无缝对接。很重要但也容易被忽视的一点是,已有数据的迁移上云。

不同用户的网络环境和数据规模有所差异,所以也有着不同的诉求。对于已和云机房有专线或数据规模大且希望快速上云的客户,可以通过专线+迁移工具的方式,直接从HDFS中迁移;对于网络环境有限的客户,可以通过提供的专有物理迁移设备进行数据搬迁上云;对于数据量较小的客户,也可以通过现有网络环境+迁移工具的方式直接上云。针对客户的场景,腾讯云提供了丰富的线上工具和线下设备迁移的方式。

对于常见的大数据分析场景,腾讯云存储提供了多种方式,基于文件存储CFS的实时分析,或基于对象存储COS的离线分析,对象存储COS提供了对接hadoop的插件,通过此插件,hadoop框架可以直接使用云存储。

微信存储使用案例

不同时代对云存储的诉求,促进了腾讯云存储的不断发展,包括在高可靠性、高性能、更丰富的功能、更完善的方案。但如何能让应用和存储完美结合,仅从存储端着手,是远远不够的。以微信的场景为例:

首先,是性能问题。如何支撑近10亿的活跃用户的消息、图片、视频的频繁发送与接送。当网络环境发生改变时,从移动网络到无线,多运营商之间切换时,怎么保证信息和文件传输畅通。在发送端,微信通过断点续传、结合云存储的分片上传等来保障性能和完整性,并通过预分发的机制来保证接收性能。

其次,是可靠性。除了副本策略,数据还通过多地备份异地容灾来保障数据的高可靠和服务的高可用性。

另外,成本非常关键,也是个永无止境的话题。从数据存储之前的图片/视频压缩、到存储引擎层的冷热数据分离、到硬件层的高密度设备引入。

其中,值得一提的是,由腾讯音视频实验室自研的TPG图片压缩格式,压缩效率比WebP还要高出25%,目前在手Q、微信H5页面、QQ空间、腾讯视频等应用中已经广泛使用,并为QQ空间相册业务节省了40%的流量成本。同时,TPG也将会在近期内通过腾讯云的万象优图、CDN对外提供服务。

这些为微信服务的云存储能力,现已通过腾讯云存储一一对外开放:如用于提高可靠性的多版本管理及跨区域复制;提升性能的分片上传;降低成本的生命周期管理、多种存储类别(热冷存储与归档存储);保障安全的密钥鉴权、数据加密服务等。

总结

存储作为基础平台核心的一部分,为应用而服务。除了需要自身具备稳定、可靠、高性能的基础能力,更是需要结合应用的场景和特性来丰富功能和完善细节。

所幸的是,腾讯云存储基于自身对应用的深入理解,为方便用户更好的使用,已针对各种场景推出完整的方案: 如智能安防监控方案、大数据方案、企业云盘方案、混合云存储方案、数据备份方案、视频直播点播方案、医疗影像云存储方案、广电非编媒资方案等。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯社交用户体验设计

IM官网全新蜕变: 改版(第一期)设计总结 - 腾讯ISUX

1112
来自专栏极限编程

简单设计落地三板斧

如果你认同 简单设计的价值观,我相信 解析简单设计原则 对你来说很容易理解并接受,它不像面向对象设计原则(比如:SOLID)那么晦涩难懂,它给你指明了一条明朗...

821
来自专栏企鹅号快讯

择业风向标:2018年最需要的7种编程语言,Python排第二

软件开发是动态变化的领域,新需求的编程语言、框架和技术可能会出现,并在未来几年逐渐淡出人们的视野。开发人员需要不断学习新的技能以保持先进性。在编写Dojo时,我...

3348
来自专栏姬小光

电商运营工具设计的12条黄金法则

运营是电子商务的核心,与之对应的当然少不了形形色色的运营工具。每个公司都有自己的各种运营工具,但却少有出类拔萃者可以开放出来与其他公司共享。

783
来自专栏FreeBuf

GitHub 2017年支付漏洞赏金100多万元,超出去年一倍多

程序员最爱的 GitHub 在 2014 年开展了一项为期 4 年的漏洞奖励计划,到 2017 年已经是第四年。这四年间,累计发放的漏洞赏金约 35 万美元(按...

3227
来自专栏云计算D1net

向云计算迁移不得不考虑的问题

把应用程序迁往云计算这一工作将对网络需求产生很大的影响,从而影响云计算成本。“所用即所付”是云计算供应商们所常用的一种诱人的流行销售说辞,而CIO们也往往...

2758
来自专栏Linyb极客之路

如何快速成长为技术大牛?阿里资深技术专家的总结亮了!

导读:你是否有类似这样的问题——“天天写业务代码的程序员,怎么成为技术大牛,开始写技术代码?”今天,阿里资深无线开发专家李运华,系统梳理了自己的思考和理解,希望...

733
来自专栏微信公众号:Java团长

如何快速成长为技术大牛?阿里资深技术专家的总结亮了!

导读:你是否有类似这样的问题——“天天写业务代码的程序员,怎么成为技术大牛,开始写技术代码?”今天,阿里资深无线开发专家李运华,系统梳理了自己的思考和理解,希望...

962
来自专栏量子位

维基百科背后,有场旷日持久的机器人编辑之战,开发者都不曾料到

王新民 | 编译自Gizmodo 维基百科上的人类编辑,经常由于修改意见的不同而产生冲突。一份英国的新研究表明,维基百科上的软件机器人之间,也有类似的在线冲突。...

33911
来自专栏BestSDK

QuickSDK发行定制化SDK:支持游客模式,快速切换账号

目前,QuickSDK针对国内手游发行推出了一套定制化SDK的解决方案,这是一套帮助手游开发商搭建专属官方SDK系统的解决方案,简单易用,技术门槛低,可以让开发...

1193

扫码关注云+社区