前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >103ZB数据存不下,存储技术需要另辟蹊径

103ZB数据存不下,存储技术需要另辟蹊径

作者头像
用户5498443
发布2019-09-12 14:44:38
7310
发布2019-09-12 14:44:38
举报
文章被收录于专栏:来自IT的我来自IT的我

首先让我们看一组数据:2018年全球产生的数据量是32ZB,预计2023年会达到103ZB。其中,有多少数据被保留下来了呢?

这里也有一组数据:2018年被保存下来的数据是5ZB,占比不足16%;预计2023年12ZB,占比12%,这就意味着会有越来越多的数据没有办法保留下来。有人将数据比喻为石油、黄金,大量的数据得不到保存,令人惋惜。

症结何在?

原因很简单,我们存储能力达不到数据增长的需求

据预测,SSD、大容量企业级HDD仍然会保持快速成长,但即便如此,缺口依然有扩大的趋势。

怎么办?

解铃还须系铃人。存储的问题,还需要借助科技的能力来解决

为了追逐更大容量的存储,以及GB/$成本,无论是SSD盘,还是传统HDD磁盘都在努力,其中SMR HDD磁盘,QLC颗粒SSD盘是成本最低的产品,是最新科技的体现。

SMR、QLC被普遍看好,但也都面临写入限制问题,从而制约了产品技术的普及。

以SMR HDD为例,在以前的文章也介绍过,数据写入时,需要将叠瓦部分数据迁移走,这就需要操作系统、以及应用软件的支持。目前,最新操作系统已经能够支持SMR,但是大量低版本操作系统,以及应用软件的限制,仍然制约SMR的使用。

QLC的问题在于PE(擦写次数)过低,从SLC、eMLC、MLC、TLC到QLC,PE从5万~10万次、1万次,3000~5000次,1000次到150次一路下滑。数据写寿命的下滑,使得QLC只适用于读类型应用,不适合频繁的擦写。

为此,西部数据也做了很多努力,将QLC的PE提高到1000次,已经能够与TLC相当。

目前,硬件制造的现状就是如此,如何扬长避短,最大化科技的价值?

这就需要借助软件的力量!

为此,西部数据提出:为了迎接ZB时代,需要重新结构存储,以次为技术,西部数据发布了分区存储技术(ZonedStorage)。

简单说,这是一套存储资源命名空间分区的技术。为此,西部数据发布了libZBC、libZNS共享库,以及开发工具,支持文件系统和内核模块设计,并将其进行了开源

目前,西部数据的ZonedStorage已经得到了SUSE、ATTO、Microchip、Broadcom等伙伴的支持。

西部数据更是将2019年称为分区存储技术元年。

写入限制的瓶颈被突破,QLC、SMR HDD市场会带来突破吗?

对于用户来说,特别JBAT等互联网厂商,会支持并使用开源的分区存储技术吗?

这需要拭目以待。但是不管怎样,西部数据信心满满。

所谓ZNS NVMe SSD平台,ZNS并不是产品的品牌名称,ZNS代表技术类型,代表这能够支持开源分区存储技术的产品,能够最大化发挥QLC SSD的价值。

至于SMR HDD,应该是ZBC。

ZNS也好,ZBC也罢,并不是西部数据的ZNS/ZBS,而是所有QLC SSD和SMR HDD厂商的也是开源用户的!

这个技术方向会走得通吗?

还是套用一句俗话:拭目以待!

高层证言:

在ODCC 2019的主题演讲上,西部数据公司产品市场部副总裁朱海翔说到:“ZB级时代的特征之一即是“数据爆炸”。

朱海翔表示:“ZB级时代的特征之一即是“数据爆炸”。据估计,2023年生成的数据总量将达到103 ZB。如此快速的增长将会给大型云数据中心带来诸多挑战,但同时也为存储产业带来新机遇。如何处理爆炸式增长的数据,已俨然成为业界备受瞩目的问题。以经济且高效的方式革新数据中心存储架构已是大势所趋。分区存储架构通过赋能应用层,实现主机和底层存储介质之间数据存放安置流程的智能化协同。不仅能够充享用SMR技术带来的硬盘存储容量最大化的红利,而且可以在融入ZNS标准的NVMe SSD产品部署过程中拥有更好的耐久性、可预知的低延迟和QoS(服务质量)性能。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-09-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 来自IT的我 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档