前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一个机房当做两个用?混合部署打造新型绿色数据中心

一个机房当做两个用?混合部署打造新型绿色数据中心

原创
作者头像
存储小白
发布2023-03-02 12:14:31
5510
发布2023-03-02 12:14:31
举报
文章被收录于专栏:存储知识存储知识

巴拿赫-塔斯基定理(又名“分球怪论”),指出在选择公理成立的情况下,可以将一个三维实心球分成有限部分,然后仅仅通过旋转和平移到其他地方重新组合,就可以组成两个半径和原来相同的完整的球。这种凭空倍增的结论违反很多人的直觉,但确实符合数学定理。而现实中的数据中心,也存在类似的方法,可以通过在一个机房中混合部署两个环境,来实现原本两个机房才能办的事情。

在互联网技术不断升级优化的背景下,数据资源的数量也越来越多,而其中囊括的信息内容也得到了各方的高度重视。也正因如此,我国的数据中心发展速度得以提升。数据中心作为数据的载体,承载了千行百业数字化转型信息系统基础的重任,已经成为社会不可或缺的“数字底座”。在国家十四五规划、新基建、东数西算与行业数字化的驱动下,数据中心进入持续高速发展期;同时也正由高速发展向高质量发展全面演进。数据中心需面对需求多样化、质量高要求、运营智能化和建设绿色低碳等多种重要因素,其高质量发展变得越来越重要。

新型绿色数据中心是数据中心高质量发展的重要方向。在供给方:数据中心机架规模持续稳步增长。大型以上数据中心规模增长迅速,2021年底我国在用数据中心机架规模近五年年均复合增速超过30%,目前投入使用的总体机架数量高于总体机架需求。在需求方:用户需求由传统IDC业务的服务器租用为主,逐步转变为企业上云对算力、存力和运力的不同需求。根据用户对算力、网络、存储的不同需求,要求数据中心具备一定的定制化能力。满足不同功率、机架数、基础设施、网络、弹性和安全的要求。

综合供给方与需求方的现状,我们可以发现,如何灵活地使用已有的机架空间,为用户提供定制化、弹性化服务,是新型绿色数据中心的一大突破方向。以最近很火的AI为例,AI的基础设施是构建在云上的,云机房的存储和算力需求迅速发展。其中,AI等高算力需求增加显著,对配套设施也提出更高要求。功能相近的情况下,大规模用户对成本会越来越重视。AI行业是极度定制化的行业,不同模型需要的训练样本不同,有的是大量文本,有的是大量图片或视频,这就造成了极大的存储浮动空间。训练的过程需要并发能力强的GPU,硬件更新换代很快,最近更是推出了专门为AI而生的TPU,更新之后被淘汰下来的硬件也需要被利用起来。

存储资源盘活系统(Storage Resource Reutilization System,SRRS)可以利用起这些空闲的存储空间与被淘汰的硬件。SRRS是一款纯用户态的存储控制器,下载160MB的安装包后只需要3个命令行就可以安装任何Linux操作系统上。SRRS不独占硬盘、操作系统,以2GB内存把各服务器中分散的磁盘整合成高性能的存储资源池,通过分布式双控制器架构保证了低延迟、高可用、易拓展;通过完善的控制台、命令行与API来统一调度管理所有存储设备;通过强大的兼容性和硬件异构特性充分利用全部存储资源。

在利用空闲空间方面,可以对机房的所有服务器部署了存储资源盘活系统,盘活出PB级别的存储资源池,并在其上部署虚拟机等应用作为训练监督、参数存储等其他环境。SRRS具备不独占硬件资源的特点,可以在不影响现有业务运行的同时将闲置存储资源进行整合,形成统一存储资源池,能够极大程度的提升数据存储的利用率。SRRS作为纯用户态软件,不影响服务器原本运行的进程,因此可以放心部署。用户态的特点,意味着SRRS仅在高频率读写操作时才轮询到CPU计算周期。因处在用户态,所以对于整体CPU计算资源使用率能做到消峰填谷、平滑占用。SRRS面向纳管适配的传统机械盘,各类型SSD盘时,可以只根据实际读写按需来对磁盘进行读写等指令的下发,正常时磁盘只在其休眠待定状态。

在利旧硬件方面,存储资源盘活系统支持异构硬件,集群中的每个Linux操作系统实例可以具有不同的硬件配置,例如不同数量的CPU、不同的内存大小、不同容量的本地硬盘等。因此可以提高现有硬件资源的利用率,充分利用起所有硬件资源。SRRS支持精简配置,为应用程序提供了比实际物理存储设备上更多可用的虚拟存储空间。在数据写入逻辑卷之前,SRRS即可以为上层应用提供存储设备,而不占用任何物理存储空间。SRRS的卷默认自动支持精简配置,提高了存储空间的有效利用。

在弹性方面,SRRS架构不仅支持纵向扩展(通过增加单服务器的处理器、内存、网络和磁盘进行扩展),还支持横向扩展(通过添加服务器进行扩展)。这使得SRRS可以基于IOPS、存储空间和带宽进行独立扩展。SRRS支持灵活的扩展方法:通过添加新磁盘扩展现有服务器容量,或者通过添加新服务器来扩展容量。扩容后,无需重新定位大量数据,系统便可自动实现负载均衡。使用SRRS,用户不需要进行大量的前期投入。可以在使用过程中,随时按需添加服务器或磁盘,这些硬件可以是机房中任何淘汰或者使用率不高的硬件,添加过程中不会中断业务。

虽然目前“盘活”的场景没有普及,但随着业界对数据中心发展与能耗的高度关注,通过提高数据中心本身效率的相关技术发展迅猛,分布式双控等新技术已经发展成为当前的热点技术。结合不同的业务场景、机柜功率密度分布及用户需求,数据中心运营商可以因地制宜选择适合的盘活技术,打造新型绿色数据中心。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档