存储创新思路思考

头图是西雅图风光,站在山上可以眺望华盛顿湖和雷尼尔雪山。

下面这篇文章写的比较highlevel,初学者可能看不懂,欢迎资深人士一起探讨。

典型云存储&存储引擎

以AWS为例:

  • 存储
  • 对象存储:s3
  • 块存储:EBS
  • 文件存储:ElasticFile System
  • 冷存储:Glacier
  • 存储引擎
  • 关系型数据库RDS
  • NoSQL数据库DynamoDB
  • 缓存服务ElastiCache
  • 数据仓库Redshift
  • HBASE(EMR服务中的子服务)

存储创新的几种思路

1) 硬件上的创新

  • Cost down之路:从传统的HDD/SAS,转向SMR,单碟容量超过1T。
  • High performance之路:用更高性能的硬件,传统的机械硬件,替换成半导体。SSD,甚至下一代的3DXPOINT都是这个路数。未来的一个可能是数据都在内存里面。内存即存储,分布式的alluxio,ignite有希望做大。

2) 架构上的创新,融合是不二选择

  • 内部实现的融合:

存储分类的方法有很多种,对象,块,文件,裸设备多种形态,适应不同的场景。从客户角度来看,五花八门,统一和融合是趋势,工业界有确实,以K/V统一和融合各种存储底层实现,对外提供不同的兼容接口。

  • 硬件的融合:

有基于普通x86服务器实现的ServerSAN,也有传统硬件实现的SAN。二者统一和融合也是趋势。硬件的标准化趋势不可能挡。

3) 超融合架构:

区别于传统的存储和计算分离架构,超融合架构的重要特点是不再有单独的存储。Gartner预测2020年超融合架构会成为数据中心的主流,这个的普及对软件架构上存在巨大影响,NDP(near data processing)是其中的一个概念。

存储引擎的创新几种思路

  • 存储格式创新

构建存储之上的就是为了不同场景下面的存储格式。最常见的比如个人电脑的pdf/word,就是为个人文件准备的不同的格式。

  • 关系型:

在数据领域,最经典的应该是传统数据库。传统数据库以关系模型为理论基础。以表,页,区,块等几级逻辑/物理组织形式来存储关系型数据。

  • Key/Value

传统数据库之外,不满足性能要求,诞生了很多存储引擎,如Hbase,以K/V的形式组织数据;时序数据库

  • 倒排索引

典型如lucene,解决全文检索问题。

  • 时间序列

InfluxDB :https://influxdata.com/

OpenTSDB:OpenTSDB是基于HBase存储时间序列数据的一个开源数据库,确切地说,它只是一个HBase的应用而已。

  • 文件数据库

支持json(bson)格式,支持松散的数据结构。

  • 多维分析

Cube,mdx 都是为了解决OLAP分析的事情。

  • 跨界融合

举例1:PostgreSQL 9.2版本开始支持json,而且9.4的版本处理JSON的性能比Mongdb还要快。

举例2:NoSQL很多都支持弱事务,比如HBASE和Mongdb。

  • 构建闭环系统,自优化技术(微软的Nectar)

一个不能自优化的系统是一个开环系统。

不光是存储,其他资源管理,任务调度都在考虑闭环系统。

存储是否有技术和能力,结合workload,去自动调优数据的放置。存储格式是否能像查询一样进行抽象和描述?(查询是线性代数变化)

微软的Nectar系统,是一个典型,结合cache,自动缓存系统中间结果进行二次利用。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2016-07-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java一日一条

并发用户数与TPS之间的关系

在做性能测试的时候,很多人都用并发用户数来衡量系统的性能,觉得系统能支撑的并发用户数越多,系统的性能就越好;对TPS不是非常理解,也根本不知道它们之间的关系,因...

581
来自专栏大数据文摘

Google停用MapReduce,高调发布Cloud Dataflow

2356
来自专栏加米谷大数据

HDFS的7个设计特点

1.Block的放置:默认不配置。一个Block会有三份备份,一份放在NameNode指定的DataNode,另一份放在与指定DataNode非同一Rack上的...

681
来自专栏IT大咖说

消费者云CSE微服务实践

摘要 华为架构师李林锋分享华为消费云CSE的微服务实践。 华为消费者云业务简介 华为消费者云业务包括华为应用市场、华为视频、华为钱包、华为运动健康等服务,为华为...

34010
来自专栏Java学习网

盘点五类最受欢迎的开源云项目

  Linux.com和The New Stack曾联合起来做过一项调查:你认为的最受欢迎的开源云项目是哪些?调查涵盖了hypervisors、IaaS、Paa...

3417
来自专栏SDNLAB

【技术专栏】大话Docker系列:我们为什么需要Docker

轻量级虚拟化容器Docker1.0正式版自发布半年以来,已经受到开源界的极大追捧和企业界的密切关注。在国外CloudOpen大会上投票显示Docker是仅次于O...

2244
来自专栏SDNLAB

IO Visor:又一个开源项目横空出世

日前,Linux组织宣布成立开源项目IO Visor,该项目主要针对Linux内核的输入/输出请求任务。这个项目听上去似乎很深奥,事实上该项目与网络有很大的相关...

2696
来自专栏大数据和云计算技术

Spark云服务进展 (Databricks Runtime 3.0)

Databricks是spark商业孵化公司,主要做的工作是在AWS上提供SaaS化的spark服务。最近在databricks博客上公布了做的一些有意思的进展...

2857
来自专栏京东技术

看京东系统架构师如何让笨重的架构变得灵巧

2719
来自专栏云计算D1net

云失败会发生 用户们你准备好了吗?

目前,市场上有各种关于云计算好处的炒作。然而有一件事却是肯定的——云并不能确保万无一失。所以即使你使用的是最有信誉的云服务和产品,你也要为云失败做好准备。 ? ...

3083

扫描关注云+社区