前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一文读懂温冷数据存储的技术选型

一文读懂温冷数据存储的技术选型

原创
作者头像
昆腾Quantum
发布2023-10-27 09:11:44
3130
发布2023-10-27 09:11:44
举报
文章被收录于专栏:昆腾昆腾

日前,在昆腾举办的技术研讨会上,售前技术负责人张可翔做了《昆腾对象存储ActiveScale》的主题分享,对温冷存储的技术选型以及昆腾的解决之道做了深入的解析。

温冷数据的存储

目前,在对象存储领有很多的使用场景。通常来说,支持AWS的S3协议,就可以把它归类于对象存储。对象存储还有一些特征,比如没有目录数的结构,所以理论上可以存储无限量的对象或者是文件,而且性能不会有太大的降低。

虽然,S3协议支持很多的存储,但是一般情况,对象存储不会被直接应用在高性能的场景。比如在文件、对象被频繁读写或者改变对象中的某几个字节等。所以,对象存储的主流使用场景还是在温存储或者冷存储。

而在温存储或者冷存储领域,通常都是追求低成本和高密度。在满足这两个条件的情况下,性能越高越好。但不管怎么说,冷存储或者温存储,都应是绿色节能的。

温冷存储技术选项及考量

目前,存储技术主要有闪存、磁盘、磁带、光盘、公有云和合成DNA。

闪存兼具低功耗和高性能的优势,通常应用高速存储场景。在冷存储领域,闪存极少被使用,毕竟成本很高。

相较于闪存来说,机械硬盘成本要低一些,但是它的存储密度已经濒临瓶颈,在未来很难有大的容量提升。另外,硬盘的功耗也比闪存高,即便是采用一些先进的技术,比如在系统闲时将硬盘转速降下来,但它依然会有持续的电能消耗。目前市面上容量比较大的硬盘,比如18TB的7200RPM的CMR硬盘价格约为2500元。当然还有6TB的5400RPM的SMR硬盘,主要用于冷数据存储或归档,价格约为800元。

磁带在冷存储领域是很重要的选项,其最大特点是成本较低;另外,它还具备绿色节能的特质。尽管已经做了很多的智能化等优化设计,磁带还是没有闪存或硬盘用起来那么方便。LTO8和LTO9是目前主流,预计明年LTO10就将面世,单盘的非压缩容量将达到36TB。目前,容量为12TB的LTO8磁带价格约为800元;容量为18TB的LTO9磁带的价格约为1600元。

光盘在冷存储或是归档领域应用还是较多。虽然光盘支持多次刻录,但是它的成本比较高,因此性价并不高。光盘存储通常以光盘盒或光盘匣的形式出现,但即便这样,其存储容量也不高。目前单片光盘最大容量为500GB,通常光盘匣能容纳10-12片光盘,这样总的容量也就是5TB-6TB的水平。下一代光盘的单片容量将达到1TB,但容量为12片光盘的光盘匣的总容量也仅为12TB。这里提及的光盘并非市面上常见到的消费级产品,而是归档级别的,因此很难在零售市场买到,其价格区间为1300元-2800元。

公有云的使用比较便捷,只要有足够的带宽,并按时付费,就可以使用存储服务。从容量来看,基本上是“无上限”的,但是使用成本和安全性需要关注。

DNA是一种未来的存储技术,它的密度非常之高。闪存或者硬盘均是采用多叠或堆叠的方式提升单位空间,但DNA完全颠覆了这一模式。DNA的存储密度基本上是目前主流存储介质的十万倍以上。如果DNA存储技术未来商用或者商业化,无论是温冷数据存储还是高性能存储都会产生翻天覆地的变化。

昆腾的解决之道

昆腾主要关注磁带技术,以更好地解决温冷数据的存储问题。事实上,磁带库是可以直接挂在文件系统或者操作系统上,然后进行使用的。比如在Linux系统上,就可以通过光纤将磁带库链接起来,然后就可以对其进行操作。还有一种大家经常听到的LTFS技术,通过它可以对磁带进行格式化,然后这盘磁带就可以变成类似于U盘或者硬盘一样,进行分区等操作。另外,当磁带数量很多的时候就面临着管理的问题。

为了将磁带和磁带库用好,发挥其最大效能,昆腾推出了两大类产品。

第一类就是StorNext文件存储系统,它相当于在磁带库的前端嫁接了一套文件存储或NAS存储,将其作为数据的缓存。当要读取磁带库的数据的时候,就可以把这些数据缓存到前端的硬盘上来提供数据访问能力。

第二类则是ActiveScale对象存储系统,它主要是面向海量的数据存储,其文件数量或者对象数量是远远超过NAS系统的。昆腾将ActiveScale和磁带库作为一个整体,对外提供S3的访问协议来支撑对象类的应用。

目前,昆腾聚焦在磁带和DNA这两个领域。在LTO磁带技术联盟里面,昆腾是成员之一;在DNA DATA Storage组织,昆腾也是主要成员之一。昆腾希望在这些领域持续地提升技术,并将它们真正应用到实际的生产当中。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 温冷数据的存储
  • 温冷存储技术选项及考量
  • 昆腾的解决之道
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档