存储创新思路思考

头图是西雅图风光,站在山上可以眺望华盛顿湖和雷尼尔雪山。

下面这篇文章写的比较highlevel,初学者可能看不懂,欢迎资深人士一起探讨。

典型云存储&存储引擎

以AWS为例:

  • 存储
  • 对象存储:s3
  • 块存储:EBS
  • 文件存储:ElasticFile System
  • 冷存储:Glacier
  • 存储引擎
  • 关系型数据库RDS
  • NoSQL数据库DynamoDB
  • 缓存服务ElastiCache
  • 数据仓库Redshift
  • HBASE(EMR服务中的子服务)

存储创新的几种思路

1) 硬件上的创新

  • Cost down之路:从传统的HDD/SAS,转向SMR,单碟容量超过1T。
  • High performance之路:用更高性能的硬件,传统的机械硬件,替换成半导体。SSD,甚至下一代的3DXPOINT都是这个路数。未来的一个可能是数据都在内存里面。内存即存储,分布式的alluxio,ignite有希望做大。

2) 架构上的创新,融合是不二选择

  • 内部实现的融合:

存储分类的方法有很多种,对象,块,文件,裸设备多种形态,适应不同的场景。从客户角度来看,五花八门,统一和融合是趋势,工业界有确实,以K/V统一和融合各种存储底层实现,对外提供不同的兼容接口。

  • 硬件的融合:

有基于普通x86服务器实现的ServerSAN,也有传统硬件实现的SAN。二者统一和融合也是趋势。硬件的标准化趋势不可能挡。

3) 超融合架构:

区别于传统的存储和计算分离架构,超融合架构的重要特点是不再有单独的存储。Gartner预测2020年超融合架构会成为数据中心的主流,这个的普及对软件架构上存在巨大影响,NDP(near data processing)是其中的一个概念。

存储引擎的创新几种思路

  • 存储格式创新

构建存储之上的就是为了不同场景下面的存储格式。最常见的比如个人电脑的pdf/word,就是为个人文件准备的不同的格式。

  • 关系型:

在数据领域,最经典的应该是传统数据库。传统数据库以关系模型为理论基础。以表,页,区,块等几级逻辑/物理组织形式来存储关系型数据。

  • Key/Value

传统数据库之外,不满足性能要求,诞生了很多存储引擎,如Hbase,以K/V的形式组织数据;时序数据库

  • 倒排索引

典型如lucene,解决全文检索问题。

  • 时间序列

InfluxDB :https://influxdata.com/

OpenTSDB:OpenTSDB是基于HBase存储时间序列数据的一个开源数据库,确切地说,它只是一个HBase的应用而已。

  • 文件数据库

支持json(bson)格式,支持松散的数据结构。

  • 多维分析

Cube,mdx 都是为了解决OLAP分析的事情。

  • 跨界融合

举例1:PostgreSQL 9.2版本开始支持json,而且9.4的版本处理JSON的性能比Mongdb还要快。

举例2:NoSQL很多都支持弱事务,比如HBASE和Mongdb。

  • 构建闭环系统,自优化技术(微软的Nectar)

一个不能自优化的系统是一个开环系统。

不光是存储,其他资源管理,任务调度都在考虑闭环系统。

存储是否有技术和能力,结合workload,去自动调优数据的放置。存储格式是否能像查询一样进行抽象和描述?(查询是线性代数变化)

微软的Nectar系统,是一个典型,结合cache,自动缓存系统中间结果进行二次利用。

本文分享自微信公众号 - 大数据和云计算技术(jiezhu2007),作者:朱洁

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-07-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 对象存储入门

    10.5.3 对象接口 对象存储系统(Object-BasedStorage System)是综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS...

    大数据和云计算技术
  • 3D Xpoint

    3D Xpoint 3D Xpoint这个东西比较新,但是可能对未来软件架构带来深刻的影响和变更,本节简单介绍下3D Xpoint到底是什么。 原理 3D Xp...

    大数据和云计算技术
  • MongoDB系列7:MongoDB存储引擎

    1、前言 存储引擎是数据库的组成部分,负责管理数据存储。 MongoDB支持的以下存储引擎: 存储引擎描述WiredTiger存储引擎从MongoDB 3.2开...

    大数据和云计算技术
  • Hive存储格式简单介绍

    Hive支持的存储格式有: textfile、sequencefile、orc和parquet这几种格式。Hive 的存储方式有列式存储和行式存储。 textf...

    用户7459214
  • 混合云实现分层存储架构

    通过提供更低的成本,更高的性能并减少数据的丢失,混合云可以帮助一些企业优化其分层存储系统。 分层存储架构并不是什么新鲜事。这已经是多年来常见的一种做法,创建一个...

    静一
  • 浪潮存储:业绩数据只是一方面,背后的硬实力才是跨象限晋级的秘密武器

    12月初,国际调研机构Gartner对外发布2020年全球主存储魔力象限报告,共有13家全球存储厂商入选,5家出局。

    数据猿
  • 朱建平:如何架构海量存储系统

    5月25日,云+社区技术沙龙-互联网架构成功举办。本期沙龙特邀请腾讯的技术专家分享关于技术架构、落地实践案例、无服务器云函数架构、海量存储系统架构等话题,从技术...

    云加社区技术沙龙
  • 聊一聊分布式对象存储解决方案

    OSS(Object Storage Service)俗称对象存储,主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外,...

    大数据技术架构
  • 宏杉科技IPO终止审查,资本需对中国存储更多包容!

    近日,证券会公布了最新一期中止审查和终止审查企业名单,一共有7家中止审查和134家终止审查,杭州宏杉科技位列终止审查名单之中。一般而言,拟上市公司在被终止审查之...

    大数据在线
  • YottaChain 泛圈科技告诉你

    从1980年开始1G时代,我们每隔10年就有一次变革,每一次变革都给我们的生活带来巨大改变,从开始的1G时代我们可以通过打电话联系到远在他乡的亲人朋友们,到现在...

    用户6476122

扫码关注云+社区

领取腾讯云代金券