前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >解读|存储需求爆发之下,成本与性能还能否两全?

解读|存储需求爆发之下,成本与性能还能否两全?

作者头像
CloudBest
发布2021-03-12 11:33:02
4220
发布2021-03-12 11:33:02
举报
文章被收录于专栏:CloudBestCloudBest

开启规模量产

英特尔宣布已于近日开始生产的

第三代英特尔®至强®可扩展处理器

(代号“Ice Lake”)

将于2021年第一季度实现规模量产。

作为俄罗斯最大的在线社交平台,VKontakte(意为“接触”,以下简称:VK)的全球注册用户超过了2亿,支持包括中文在内的86种语言。按照Alexa的数据统计,VK全球流量排名第14位,在俄罗斯则排名第一位。

每天,VK用户查看90亿条帖子、观看6.5亿个视频、发送100亿条消息,顺道还要点数十亿次的“赞”。这么说吧!在一年的时间里,VK用户会上传至少600 PB的新数据,其中包括大量照片和视频,这些数据和用户在网上的各种动作必须永久存储。

由于所有的数据必须通过网络进行流传输,同时还需要保证为用户提供最佳的应用感受,因此数据存储基础设施已经成为VK最大成本支出,能够占据到公司年度预算的60%至65%。

基于此,如何让现有的1.1EB数据在“住得好”的前提下,更进一步地优化存储总体拥有成本(TCO),就成为VK首当其冲的紧迫需求,并且将会长期影响到公司的长远发展。

业务现状与需求

01

毫无疑问,数据理应存储在距离上传位置较近的地方,无论业务逻辑,抑或是应用体验,都需要VK做出这样的选择。

目前,VK拥有三个主要的数据中心,以及差不多19000台服务器。数据的访问由30个内容分发网络(CDN)提供支持,以此加快最热数据的访问速度。

然而我们知道,俄罗斯疆土广阔,城市之间的距离非常远,因此VK需要出色的CDN缓存基础设施在靠近用户的位置存储数据,以便用户在使用VK的社交网络平台时,能够获得良好的体验。

此前,VK在其CDN服务器上采用的是三层数据缓存结构:首先是热数据,这主要是最近上传到网络且仍被经常访问的数据;温数据则是不再被频繁访问的数据——通常是最长一个月前上传的数据;冷数据是那些很少被访问的数据。

在这种结构下,随着数据的由热变温、由温转冷,数据会逐渐向下层移动,存储到不同的介质上。

在采用新技术之前,CDN中的冷数据存储在遍布俄罗斯的分布式数据网络中的硬盘上,温数据存储在SATA固态盘中,而热数据则存储在DRAM里。

此外,基于Nginx Web服务器的数据库服务器使用SATA固态盘和硬盘来存储数据,使用DRAM来存储索引。

显然,将DRAM用做存储介质,在性能上绝对是一流的,足以支撑最严苛的需求。然而,DRAM的缺陷也显而易见,那就是过于昂贵,而且断电就会造成数据的丢失。

热数据是维持社交网络热度的核心资源,VK希望能够找到一种更加经济而且能够保持极高性能的存储方案。

需要指出的是,为了满足各种各样的用户设备需求,VK采取的办法是为每个图像存储多个不同的副本,这种做法的效果立竿见影,但是也会占据更大的空间,为此VK同样寻求一种更加高效的方法。

现代化的架构改造

02

在英特尔的帮助下,VK对其存储架构进行了现代化的改造。

首先,针对CDN 服务器,VK将原有的热数据从昂贵的DRAM转移到英特尔傲腾固态盘DC P4800X系列,并且通过引入英特尔傲腾持久内存,来取代DRAM来处理相关工作负载,由此降低单位比特的成本(见图一)。

  • 图一 在全新的存储解决方案里,VK采用性能更出色的固态盘来存储温数据,采用成本更低的快速存储器来存储热数据,达到了成本和性能的完美平衡。

通过英特尔傲腾固态盘P4800X系列,VK可以经济地消除数据中心存储的性能瓶颈,便于处理更大、更具性价比的数据集。如果工作负载支持英特尔傲腾持久内存特有的App Direct模式,那么内存就具备了持久性,数据也不会因断电而消失。

在VK新的存储架构中,温数据存储在非易失性存储器 (NVMe) 英特尔固态盘D5-P4320系列上。与以前的固态盘相比,英特尔固态盘D5-P4320系列的性能更好,能够为热数据提供强劲的支持,提供良好的用户体验。

得益于新的存储架构,热数据和温数据均可以保存在固态盘上,帮助VK大大降低了DRAM的用量,在降低成本的同时,用户的应用感受没有任何的缩水。

对于数据库服务器,VK引入了英特尔傲腾持久内存来存储数据库索引(见图2),将数据库本身从硬盘或SATA固态盘迁移到非易失性存储器 (NVMe) 英特尔固态盘D5-P4320系列,有效地提高了性能和存储密度。

  • 图二 全新存储解决方案的一大亮点,是将索引从昂贵的DRAM迁移到性价比更高的英特尔傲腾持久内存。

众所周知,英特尔傲腾持久内存具有更强的内存寻址能力,可以有效地提升数据库的性能,而将数据从DRAM迁移到英特尔傲腾持久内存,还可极大地降低数据库索引的存储成本。

更低成本,更高性能

03

新的数据库服务器和CDN服务器,均是基于两颗英特尔至强金牌6238处理器、六块英特尔固态盘D5-P4320系列、八套英特尔傲腾持久内存,以及两个25Gbps网卡。

此前的服务器采用了英特尔至强金牌6230处理器,升级到新的处理器后,系统拥有了更好的存储和计算性能,而且优化了总体拥有成本,能够从计算能力中获得更出色的每瓦性能。

VK在2020年的预测显示,升级处理器为VK降低了一半的计算成本,将每瓦性能提高了33%(见图三),而且实现了性能的显著提升。

  • 图三 降本增效,英特尔至强金牌6238处理器真的是名不虚传。

为了进一步优化存储并提高能效,VK正在部署采用英特尔Arria 10 GX FPGA的英特尔可编程加速卡(英特尔PAC,见图4),并运行 CTAccel 图像处理器工作负载。

  • 图四 采用英特尔Arria 10 GX FPGA 的英特尔PAC概念和内部视图。

通过采用低功耗、单槽、半高PCIe英特尔PAC,VK可以在各类服务器中轻松部署多个FPGA。与在通用处理器上运行的软件相比,FPGA可以通过提供定制硬件大幅加速应用功能。

此外,通过利用FPGA的可配置性,VK能够将高分辨率图像即时转换为所需的大小和格式,这样就只需存储高分辨率图像,从而减少了总体存储需求。

与VK测试过的其他解决方案相比,这一方案还能显著提高能效。

据估计,通过引入全新的存储解决方案,VK可以节省总计数亿美元的成本。新的存储解决方案能够在1U服务器中存储高达0.4PB 的数据,因此VK只需更少的机架就能存储相同数量的数据。

得益于以上,在数据中心的空间、供电和散热等方面,VK还将实现持续不断的成本节约,让IT投资发挥出最大的价值。

通常人们总是说,“又要马儿跑,又要马儿不吃草”是一对矛盾,在现实中难以两全。不过,通过采用英特尔最新技术构建存储架构,VK却真正实现了“以更低成本获得更高性能”。

据悉,该公司也计划在未来引入英特尔固态盘D5-P4326系列,从而进一步降低成本、增加存储容量。无疑,VK的案例既有启示意义,更有实践价值,值得更多客户思考与借鉴。(文章来源:胖头陀)

-END-

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-02-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数字科智 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档