前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >论存储资源的盘活

论存储资源的盘活

原创
作者头像
存储小白
发布2023-04-20 17:14:21
3520
发布2023-04-20 17:14:21
举报
文章被收录于专栏:存储知识存储知识

研究表明,各机房广泛存在存储资源利用率低的问题,《计算机世界》中指出:30%的服务器处于沉睡状态。斯坦福大学研究员乔纳森·库米使用能效软件分析了近4000台物理服务器,也得出30%的结论。为满足系统性能和升级扩容等要求,客户一般购买超过实际数据容量需求3-4倍的磁盘,从而造成了闲置,平均40%-50%的磁盘容量从未被利用过。麦肯锡公司发布研究表明有高达30%的数据中心服务器“功能失效”。Uptime 研究组织根据从其客户收集的数据进一步确认了“高达30%的数据中心服务器‘功能失效’”。

2030“碳达峰”、2060“碳中和”背景下,我国对云计算基础设施提出了明确目标:大型数据中心绿色低碳等级达到4A级以上,PUE达到1.3以下。一个闲置的未获得节能认证的、已经使用五年的服务器,可产生180电能耗。假设一个1000个服务器的数据中心中有20%的服务器空闲,电价为0.6元/kwh,则每年多支付了19万元的电费。考虑到服务器的老化和电费增长,成本还将增加。我国在用数据中心总规模超过590万标准机架,服务器约2000万台,消耗能源量巨大。通过摆脱沉睡服务器和提高能源效率,可以让数据中心电力使用量减少40%以上。无论从何种角度考虑,盘活存储资源势在必行。

中国三大运营商每年集中采购服务器数量高达40万台,据招标公告,在2021~2022年各运营商的服务器集中采购中,中国移动采购163692台,中国电信采购200000台,中国联通采购44818台。这些服务器除了用于新建各类云计算资源池,还有相当比例的服务器用于替换现网老旧服务器,但这些被替换的服务器大部分并没有达到使用年限或是运行状态仍旧良好。但受限于存量存力无法满足新业务的要求、下网服务器即将过保或没有维保、相关配件已停产或无法采购等因素,真正能够盘活的存储资源只有这之中最新批次,其余绝大部分服务器处于闲置状态,且与其一并闲置的还包括机架资源和动力资源。

不光是三大运营商,目前国内外普遍存在大量的利旧服务器需求。现有各虚拟化软件厂家主要以服务器的CPU数量计算license,这就导致同样的CPU数量,内存和硬盘存储越大性价比越高,因此通信运营企业一般均通过采购性能优越的新设备部署虚拟化云设施。而利旧设备由于先天不足,往往只能束之高阁;另外,虚拟化云设施使用共享存储以实现高可靠性和动态迁移等功能,利旧设备由于性能相对落后,部署起来更加复杂。

目前利旧的主要方式是通过虚拟化,将现有闲置服务器及不同虚拟化平台构建为新的数据中心云平台,承载业务系统应用。主流的虚拟化软件有VMware vSphere、Citrix XenServer、MicroSoft Hyper‐V、Red Hat KVM 等,覆盖面很广,但是经常面临异构硬件难兼容、旧型号设备与软件适配性、老旧设备混沌环境等问题。目前利用不同规格存储资源,并在不同规格存储资源之间取得负载均衡的主流方法是Ceph,通过设置大配比纠删码策略,为旧存储介质的处理提供更多操作空间。在实际方案设计中,利用这一特性可避免为旧服务器购买维保,直接盘活直至硬件彻底损坏。

上述方案的盘活效果如何?从技术上来看是没问题的,但如果真的毫无问题,就不会出现如此巨大的闲置资源数字了。究其根本,大体可分为异构存储和数据孤岛两个原因。

异构存储,即在企业IT系统中,存储设备往往来自不同供应商。不同的供应商意味着不同的底层架构、不同的管理界面、功能、性能以及运维升级的操作都会有很大的差别。如果客户需要对存储系统进行升级,就必须要找到相应的供应商进行操作,这样一来,企业很容易被一家或者几家供应商所绑架。此外,为了将数据从一家厂商的存储阵列移植到另一家厂商的存储阵列,客户可能需要获得专业化服务,而这些服务需要额外的高昂费用,增加企业的IT运维成本。另一方面,多种存储系统共存使得企业需要聘用非常专业的技术人员对这些系统进行管理,人员成本又成了一个难以解决的问题。异构存储带来的高成本问题不仅反映在IT运维/升级成本和人员成本,为了移植数据或更改存储基础设施,企业必须经常让存储设备离线(停机)。这些行为会中断正在访问企业数据的应用程序,从而延长应用程序故障时间,而这一故障给企业运营造成的时间成本是非常高昂的。

数据孤岛与异构存储有直接的关系。由于存储设备来自多个厂商,而且各自有各自的操作规范,那么多个存储网络之间很难实现相互协作,集中管理并实现资源的共享就更无从谈起了。这样造成的结果是,可能一个存储网络设备长期处于闲置状态,而另一个又一直处于高负载状态。数据孤岛无疑也将极大的增加企业存储系统的管理难度和运维成本。

为了解决异构存储和SAN孤岛给企业带来的高成本、低效率问题,可以引入存储资源盘活系统(Storage Resource Reutilization System,SRRS)。SRRS是一款纯用户态的绿色软件,只有150MB左右的安装包,不需要ROOT权限就可以安装任何Linux操作系统上。SAAS不独占硬盘、操作系统,以2GB内存把各服务器中分散的磁盘整合成高性能的存储资源池,通过分布式双控制器架构保证了低延迟、高可用、易拓展;通过完善的控制台、命令行与API来统一调度管理所有存储设备;通过强大的兼容性和硬件异构特性充分利用全部存储资源。

SRRS针对盘活方式,创新性提出用户态进程级的纯软件盘活方法,降低盘活难度,提升盘活效率;针对盘活对象,创新性提出支持异构部署,在扩大盘活对象的同时将各服务器统一管理;针对盘活场景,创新性提出支持和现有业务混合部署,将盘活场景从利旧扩大到一切空闲存储空间;针对盘活安全,创新性提出针对混沌环境的要求,要确保数据不丢、业务不断等,考虑到利旧设备弱网、弱电、弱算、弱盘的实际情况;针对盘活应用,创新性提出自定义负载,可根据业务系统的忙、闲时的不同,把能实现错峰填谷效果的业务系统配置在资源池的同一个集群中,将能更好地提高资源池的利用率。

SRRS不独占硬件资源的特点使其可与现有应用混合部署在同一套硬件设备上,不影响现有业务的运行的同时将闲置存储资源予以整合。可基于异构硬件进行部署,兼容x86、ARM、龙芯等平台设备,解决了异构存储问题。可以通过标准 iSCSI 协议为上层应用提供虚拟 Target 和逻辑卷,提供分布式块存储服务并可被灵活调度、分配、使用,完美地解决了数据孤岛问题。

在盘活过程中,可能会出现由于加入负载的硬件突然增加,导致功率过高或带宽不足的问题。SRRS是天生面向混沌环境设计的产品,可对抗能源供给不稳定而导致的网络不稳定、电压电流不稳定等弱网弱电场景。当遇到因断电等极端条件导致的服务器宕机情况,当供电恢复服务器重启后SRRS能够无缝恢复至断电前的运行状态,具备可靠的自愈能力,帮助企业顺利度过实施盘活过程的不稳定期。

《关于进一步盘活存量资产扩大有效投资的意见》指出:在基础设施等领域形成了一大批存量资产,为推动经济社会发展提供了重要支撑。利用存储资源盘活系统SRRS有效盘活存储资源,对于提升基础设施运营管理水平、拓宽社会投资渠道、合理扩大有效投资以及降低债务风险、降低负债水平等都具有重要意义。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档