前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >软件定义存储领域的行业驱动与制约因素

软件定义存储领域的行业驱动与制约因素

原创
作者头像
存储小白
修改2021-09-29 17:52:44
5320
修改2021-09-29 17:52:44
举报
文章被收录于专栏:存储知识存储知识

目录:

一、驱动因素

1.数据量增长下传统存储难以满足企业业务需求

2.软件定义存储较传统存储具有优势

3.存储硬件发展为软件定义存储提供技术基础

4.云计算的普及和存储虚拟化技术的成熟

二、制约因素

1.软件定义存储产品功能不完善

2.软件定义存储产品技术研发瓶颈

3.存储硬件性价比攀升,传统存储仍具竞争力

4.软件存储行业监管和标准缺失

————

软件定义存储领域的行业驱动因素

一、数据量增长下传统存储难以满足企业业务需求

移动互联网、物联网、云计算等技术发展使数据量呈现爆炸式增长,2021年,约 60%的全球 2000 强企业将把数字化转型作为公司战略的核心,具备数字化转型战略的企业将不断扩大其外部数据来源,企业产生的数据将以百倍成长;届时全球数据量将会达到 45ZB,而中国产生的数据量将会超 8ZB,占全球数据量约五分之一。中国企业将面临海量数据的存放、管理、优化和利用等挑战。

企业业务需求的迅速变化对存储中心的响应速度提出了更高要求,传统存储下存储管理员从收到请求到准备并实施变更需要至少一周以上,无法满足业务快速部署要求,远不及云的按需供应效率,软件定义存储产品将替代部分传统存储产品以满足企业及时性、灵活性的存储需求。

软件定义存储通过提供应用程序编程接口(API)管理、部署和维护存储资源,实现存储资源在云、数据中心和应用程序中的调用并实现策略驱动的资源管理模式。针对海量数据存储,企业可根据业务需要,通过软件定义存储的超融合架构以增加模块的方式增加计算能力或存储能力,支持大量并发的计算或存储需求。

传统存储过于依赖设备,需根据设备性能(如扩容能力)响应需求,而软件定义存储可按需求进行动态配置实现存储与应用更紧密的联系,提供更高的敏捷性,以策略管理驱动的高级功能匹配企业业务需求,用户管理数据请求直接传达至自动化软件,软件直接对应请求分配存储资源,无需人工干预。

二、软件定义存储较传统存储具有优势

传统存储中“存储-服务器-网络安全设备”三层堆栈部署复杂,需对多层软硬件结构进行组装和调试:①向网络设备厂商采购 ToR(Top of Rack,架顶式)交换机;②向服务器硬件厂商采购服务器;③向存储厂商采购存储设备;④FC(Fibre Channel,光纤通道)存储还需在服务器上部署专门的 HBA(Host Bus Adapter,主机总线适配器)卡提升访问性能;⑤使用虚拟机监视器(Hypervisor)软件管理平台实现虚拟机与业务系统的部署。

传统存储复杂的 IT 建设模式下设备种类和供应商数量繁多,用户在搭建基础设施上需耗费大量时间精力;且不同设备的存储资源形成异构孤岛,数据无法流通;统一的集中化 IT 构建策略缺失,难以对数据中心内的基础设施进行统一的监控、管理、报告和远程访问,后期维护技术门槛高。

传统存储根据机头控制器的能力分为高中低三档存储(低端存储通常支持 200 块硬盘左右的扩展能力,中端存储通常支持 1,000 块硬盘左右扩展能力,高端存储通常支持 5,000块硬盘左右扩展能力),传统存储扩展性有限,低端存储无法升级为中高端存储,无法随着计算资源增加而自由地横向扩展。

客户在初期业务量较小时购买中低端存储,业务量增加后,中低端存储性能和容量无法满足客户需求,需增加新的中低端存储,如此反复造成多存储平台间的割裂,资源利用率低,管理复杂,无法满足上层业务对易用性和敏捷性的需求。若客户在初次购买高端存储,将面临投入成本过高,设备利用率不足等问题。

随着数据集中化及云计算成为主流建设模式,存储资源集中化、业务大规模部署及运维逐步成为刚需,而传统存储在扩展性上受限,无法适应虚拟化数据中心弹性可扩展的要求。

软件定义存储的灵活性、扩展性和自动化等优势,可帮助企业从传统孤岛式存储进化到共享式存储,统一管理调度资源,解决硬件差异化问题。随着用户需求的变化、技术的变革,软件定义存储能够给用户提供更快的性能、更高的灵活性和开放性、更强的扩展性、更简单的管理,能够集存储资源虚拟化、自动化、服务化为一体,极大地减少了人工成本和随同存储硬件降低成本。

三、存储硬件发展为软件定义存储提供技术基础

 SSD(固态硬盘):传统外置磁盘阵列一个 IO(输入/输出)落到硬盘上,要经历多个环节,延时在毫秒以上。而 SSD(固态硬盘)内置在服务器里,可在低于毫秒的时间内对任意位置的存储单元完成 IO 操作,在衡量磁盘性能的主要指标 IOPS 上,固态硬盘可达到机械硬盘的几十甚至上千倍。延时更短,性能更高,为软件定义存储提供了硬件基础。

存储控制器 x86 化:x86 硬件在性能和可靠性上均实现了快速发展,加上其独特的开放性优势,极大推动通用硬件市场的发展。目前各大外置磁盘阵列的存储厂商的存储控制器已采用x86 结构,硬件趋于标准化,为软件定义存储布局打下基础。

多核技术:服务器的 CPU 多核技术已应用于业务应用,在虚拟化环境里,多核处理器既提高了处理器利用率,也提高了单台服务器上用户对更多 IO 的需求。CPU 多核的利用,使得分布式存储在处理业务应用之外处理 IO,实现丰富的软件功能。

高速网络技术:软件定义存储中分布式存储借助于节点之间的缓存(用固态硬盘存放)的同步复制来确保数据的冗余性,高速网络中 RDMA 技术发展对跨节点之间的延迟缩短起到了重要作用。

大容量服务器和磁盘:软件定义存储中分布式存储借助于大容量的服务器和磁盘,能够提供以往外置磁盘阵列才能支持的大存储容量。分布式存储在支持服务器连接 JBOD(磁盘簇)、直连存储进行纵向扩展,容量将进一步扩大。

四、云计算的普及和存储虚拟化技术成熟

随着大数据时代到来,数据量的存储需求迅速增长,越来越多的企业把数据存储作为重要项目管理。存储设备的差异性使高效管理设备面临诸多困难,虚拟化是存储管理效率提升的重要解决方案,存储虚拟化技术可提升存储设备效率管理,整合不同类型存储资源,解决异构存储系统兼容性、扩展性、可靠性、容错容灾问题。

云计算是以数据为中心的一种数据密集型的超级计算,在数据存储、数据管理、编程模式、并发控制、系统管理等方面具有自身独特的技术,云计算改变了信息/IT 服务的提供方式。虚拟化技术是一种调配计算资源的方法,其将应用系统的硬件、软件、数据、网络、存储等隔离开,从而打破数据中心、服务器、存储、网络、数据和应用中的物理设备之间的划分,实现架构动态化,并达到集中管理和动态使用物理资源及虚拟资源的目的,以提高系统结构的弹性和灵活性,降低成本、改进服务、减少管理风险等。

云环境中,虚拟化技术按系统层级划分可分为:服务器虚拟化、存储虚拟化、网络虚拟化、应用虚拟化以及客户端虚拟化,不同种类的虚拟化技术从不同角度解决不同的系统性能问题。虚拟化技术应用于云计算,简化了资源管理的复杂度,提高了资源利用率。用户可通过互联网随时获得所需服务,按需付费。在数据安全性和完整性要求更高的时代,存储系统变得尤为重要,存储虚拟化技术得到了较快的发展和应用。

————

软件定义存储领域的行业制约因素

一、软件定义存储产品功能不完善

传统阵列由昂贵、专用的硬件组装而成,发生硬件故障的概率低,软件定义存储大都部署在廉价的标准 x86 服务器上,发生硬件故障的概率较高。且软件定义存储的分布式系统意味着需要管理几十台、乃至成千上万台 x86 服务器,发生硬件故障的概率加大。

随着各行各业全球化脚步的加速,拥有多区域多数据中心的企业亟需解决数据跨区域存放的难题。同时,在不影响生产的情况下灵活调度、将应用迁移至异地数据中心等问题仍存考验。现阶段许多软件定义存储的解决方案不能提供完整的数据服务功能性。数据容灾备份和迁移的可执行性仍存在瓶颈,跨数据中心的容灾实现困难,采用软件定义存储的方案仍需购买额外的存储系统来弥补软件定义存储方案的缺失功能。历史数据迁移的高成本在一定程度上阻碍了软件定义存储的大规模普及。

二、软件定义存储产品技术研发瓶颈

目前自主研发的软件定义存储技术产品较少,中国仅华为、H3C 等少数 IT 头部企业有独立研发的软件定义存储产品,初创企业产品更多基于开源软件二次开发。

中国 SDS 软件定义存储专业人才缺乏。软件和信息技术服务产品的研发对人员的技术要求较高,人才培养周期长,导致了相关研发人才队伍建设不能充分满足行业发展的需求。与此同时,中国软件和信息技术服务行业起步较晚,经验丰富、技术能力强的专业技术人才和管理人才较为缺乏。随着行业的不断发展,软件定义存储产品市场规模稳步扩大增长,专业人才缺乏的问题将会更加突出。软件定义存储特别是控制平面的产品研发和投入试用需要非常长的周期,资金投入大且见效慢,较少国内企业拥有资金实力支撑自主产品研发,而国内投资机构缺少对纯技术投资的传统,制约 SDS 产品技术发展。

三、存储硬件性价比攀升,传统存储仍具竞争力

随着存储技术的快速发展,传统存储的部署价格也在逐年下降,其稳定、可靠、高性能和低延迟的特点在某些特定场景的应用中依然无法替代,传统存储在市场上仍将占有一席之地。传统存储单块磁盘的容量越来越大,服务器内置磁盘的裸容量达数百 TB(万亿字节),加之近年来 SSD(固态硬盘)技术发展使延时大幅缩减和读写性能升级,传统存储可以适用更多的业务场景。技术的普及推广带动传统存储价格的快速下调,软件定义存储的性价比优势并不明显。

在使用的便捷性方面,传统存储更为方便,可实现开箱即用,硬件由厂家提供,具备完善的文档和服务。而软件定义存储大多为开源项目或公司基于开源系统提供支持的服务,版本迭代比较快,需要较强的技术能力和运维能力,出故障的概率高且没有固定的解决方案。

在对数据一致性要求较高的应用场景(如 ORACLE RAC,真正应用集群),软件定义存储中的数据同步性能稍弱,分布式的结构导致数据同步存在缺陷。而传统存储设备数据存储方式更为可靠,传统存储更占优势。

四、软件定义存储行业监管和标准缺失

目前软件定义存储有两套行业标准:(1)事实标准:接口方面的亚马逊 S3 和 Openstack Swift 协议。①亚马逊 S3,亚马逊 S3 是为用户从任意位置存储和检索任意数量的数据而构建的对象存储,这些数据包括来自网站和移动应用程序、公司应用程序的数据以及来自物联网传感器或设备的数据。S3 已经被广泛用于备份存档、大数据分析、灾难恢复等场景,作为业界最早推出的云存储服务,拥有强大的影响力,其接口已经成为云存储领域的事实标准。②Openstack Swift 协议,OpenStack 是一个旨在为公共及私有云的建设与管理提供软件的开源项目。其社区拥有超过 130 家企业及 1,350 位开发者,这些机构与个人都将OpenStack 作为基础设施即服务(IaaS)资源的通用前端,因此该协议为普遍认可的官方使用协议;(2)全球网络存储工业协会(SNIA)SDS 技术草案:该草案在行业内人士中接受度高,全球网络存储工业协会(SNIA)在此形成的共识有利于未来软件定义存储在技术标准上的确立。

软件定义存储行业的技术标准、收费价格、服务评判标准等尚未建立,行业缺乏规范性的统一指引,制约行业发展。当前中国软件定义存储市场蓬勃发展,驱动大批企业投身其中,并推动整个产业发展。但不同厂家的技术实力参差不齐,产品也难以评估和筛选,在一定程度上延缓了新技术的推广和普及。由于存储产品性质,企业更换设备和服务成本高昂,因此首次筛选购买极为重要。而软件定义存储行业的关键技术服务和应用的标准的缺失,导致提供商和用户两者之间存在巨大的信息鸿沟,行业门槛高,市场难以健康良性发展。

中国电信最近发行的存储产品HBlock在一定程度上避免了上述软件定义存储的固有问题。HBlock是只有140M大小的纯软件,其分布式双控架构可以避免任何单点故障,再配合远程诊断功能,足以支持系统7*24小时运行。HBlock采用真正的“硬件异构”,即可以将任何装载Linux系统的硬件接入存储集群,在原有系统上直接扩展节点,降低历史数据迁移成本。

HBlock在性价比和安全上的优势更加突出,由于“硬件异构”的特性,用户可以使用手头已有的硬件资源构建存储集群,而无需专门采购,任何在本地的数据都可以自定义配置多副本和纠删码安全模式。用户还可以选择接入OOS云存储系统,作为本地磁盘的扩展,或者当做容灾备份,OOS采用业内现进的“全局元数据”技术,可以保证数据的全局一致性,任何时候都能通过云端恢复全部数据。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档