存储创新思路思考

头图是西雅图风光,站在山上可以眺望华盛顿湖和雷尼尔雪山。

下面这篇文章写的比较highlevel,初学者可能看不懂,欢迎资深人士一起探讨。

典型云存储&存储引擎

以AWS为例:

  • 存储
  • 对象存储:s3
  • 块存储:EBS
  • 文件存储:ElasticFile System
  • 冷存储:Glacier
  • 存储引擎
  • 关系型数据库RDS
  • NoSQL数据库DynamoDB
  • 缓存服务ElastiCache
  • 数据仓库Redshift
  • HBASE(EMR服务中的子服务)

存储创新的几种思路

1) 硬件上的创新

  • Cost down之路:从传统的HDD/SAS,转向SMR,单碟容量超过1T。
  • High performance之路:用更高性能的硬件,传统的机械硬件,替换成半导体。SSD,甚至下一代的3DXPOINT都是这个路数。未来的一个可能是数据都在内存里面。内存即存储,分布式的alluxio,ignite有希望做大。

2) 架构上的创新,融合是不二选择

  • 内部实现的融合:

存储分类的方法有很多种,对象,块,文件,裸设备多种形态,适应不同的场景。从客户角度来看,五花八门,统一和融合是趋势,工业界有确实,以K/V统一和融合各种存储底层实现,对外提供不同的兼容接口。

  • 硬件的融合:

有基于普通x86服务器实现的ServerSAN,也有传统硬件实现的SAN。二者统一和融合也是趋势。硬件的标准化趋势不可能挡。

3) 超融合架构:

区别于传统的存储和计算分离架构,超融合架构的重要特点是不再有单独的存储。Gartner预测2020年超融合架构会成为数据中心的主流,这个的普及对软件架构上存在巨大影响,NDP(near data processing)是其中的一个概念。

存储引擎的创新几种思路

  • 存储格式创新

构建存储之上的就是为了不同场景下面的存储格式。最常见的比如个人电脑的pdf/word,就是为个人文件准备的不同的格式。

  • 关系型:

在数据领域,最经典的应该是传统数据库。传统数据库以关系模型为理论基础。以表,页,区,块等几级逻辑/物理组织形式来存储关系型数据。

  • Key/Value

传统数据库之外,不满足性能要求,诞生了很多存储引擎,如Hbase,以K/V的形式组织数据;时序数据库

  • 倒排索引

典型如lucene,解决全文检索问题。

  • 时间序列

InfluxDB :https://influxdata.com/

OpenTSDB:OpenTSDB是基于HBase存储时间序列数据的一个开源数据库,确切地说,它只是一个HBase的应用而已。

  • 文件数据库

支持json(bson)格式,支持松散的数据结构。

  • 多维分析

Cube,mdx 都是为了解决OLAP分析的事情。

  • 跨界融合

举例1:PostgreSQL 9.2版本开始支持json,而且9.4的版本处理JSON的性能比Mongdb还要快。

举例2:NoSQL很多都支持弱事务,比如HBASE和Mongdb。

  • 构建闭环系统,自优化技术(微软的Nectar)

一个不能自优化的系统是一个开环系统。

不光是存储,其他资源管理,任务调度都在考虑闭环系统。

存储是否有技术和能力,结合workload,去自动调优数据的放置。存储格式是否能像查询一样进行抽象和描述?(查询是线性代数变化)

微软的Nectar系统,是一个典型,结合cache,自动缓存系统中间结果进行二次利用。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2016-07-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

后 Hadoop 时代的大数据技术思考:数据即服务

1. Hadoop 的神话正在破灭 IBM leads BigInsights for Hadoop out behind barn. Shots heard ...

1866
来自专栏前沿技墅

架构演化:云原生时代正式开启

27510
来自专栏云计算D1net

云备份和标准数据中心的备份有所不同

在云计算的环境中,灾难恢复包含了一组新的选项,它们看起来与您在本地系统中拥有的选项大不一样。您最终采取的方法应该与应用程序和数据集对业务价值的大小相匹配。

670
来自专栏北京马哥教育

绝对不能错过的7篇MySQL必读文章

MySQL专题那些事儿 马哥Linux运维公众号持续推出有质感的技术文章,志在成为大家手中的运维技术百宝箱,为了方便大家温习,小编特回顾了近一段时间比较受欢迎的...

3909
来自专栏云计算D1net

如何有效地同多个云提供商合作

在同多个云提供商合作之前,请评估他们在计算、存储和安全等方面的服务。 企业必须在多个云供应商中做出抉择。亚马逊网络服务是行业巨头,而微软Azure则提供了一整套...

33410
来自专栏数据和云

动手为王 - 整合迁移与数据恢复实践

作者简介: ? 李真旭(Roger) 云和恩墨西北区技术总监,Oracle ACE, ACOUG 核心专家 对于数据库升级迁移,这两年是一个非常热门的话题,尤其...

3345
来自专栏软件测试经验与教训

测试计划应该怎么写?

俗话说,预则立不预则废,我们大都认同做计划对推动事情的发展很有帮助。有的公司会要因此要求测试经理出具测试计划。但写好测试计划很难,维护起来成本也高,若是不好好写...

873
来自专栏斑斓

我们的技术选型

本文是我在中生代技术群分享的话题《创业一年经历的技术风雨》中的第一部分《产品架构与技术选型》的第二部分。我要谈的是我们产品研发过程中的技术选型。 开发语言的选型...

2824

云原生应用程序:为什么,是什么和如何做

云原生是一种构建和运行应用程序的方法,可以利用云计算模式的优势 —— 按需计算的能力和即用即付的定价模式。这些应用程序是以云计算平台的快速响应为基础构建和部署的...

2607
来自专栏大数据文摘

云存储:面向企业的7项必备功能

1674

扫码关注云+社区