存储创新思路思考

头图是西雅图风光,站在山上可以眺望华盛顿湖和雷尼尔雪山。

下面这篇文章写的比较highlevel,初学者可能看不懂,欢迎资深人士一起探讨。

典型云存储&存储引擎

以AWS为例:

  • 存储
  • 对象存储:s3
  • 块存储:EBS
  • 文件存储:ElasticFile System
  • 冷存储:Glacier
  • 存储引擎
  • 关系型数据库RDS
  • NoSQL数据库DynamoDB
  • 缓存服务ElastiCache
  • 数据仓库Redshift
  • HBASE(EMR服务中的子服务)

存储创新的几种思路

1) 硬件上的创新

  • Cost down之路:从传统的HDD/SAS,转向SMR,单碟容量超过1T。
  • High performance之路:用更高性能的硬件,传统的机械硬件,替换成半导体。SSD,甚至下一代的3DXPOINT都是这个路数。未来的一个可能是数据都在内存里面。内存即存储,分布式的alluxio,ignite有希望做大。

2) 架构上的创新,融合是不二选择

  • 内部实现的融合:

存储分类的方法有很多种,对象,块,文件,裸设备多种形态,适应不同的场景。从客户角度来看,五花八门,统一和融合是趋势,工业界有确实,以K/V统一和融合各种存储底层实现,对外提供不同的兼容接口。

  • 硬件的融合:

有基于普通x86服务器实现的ServerSAN,也有传统硬件实现的SAN。二者统一和融合也是趋势。硬件的标准化趋势不可能挡。

3) 超融合架构:

区别于传统的存储和计算分离架构,超融合架构的重要特点是不再有单独的存储。Gartner预测2020年超融合架构会成为数据中心的主流,这个的普及对软件架构上存在巨大影响,NDP(near data processing)是其中的一个概念。

存储引擎的创新几种思路

  • 存储格式创新

构建存储之上的就是为了不同场景下面的存储格式。最常见的比如个人电脑的pdf/word,就是为个人文件准备的不同的格式。

  • 关系型:

在数据领域,最经典的应该是传统数据库。传统数据库以关系模型为理论基础。以表,页,区,块等几级逻辑/物理组织形式来存储关系型数据。

  • Key/Value

传统数据库之外,不满足性能要求,诞生了很多存储引擎,如Hbase,以K/V的形式组织数据;时序数据库

  • 倒排索引

典型如lucene,解决全文检索问题。

  • 时间序列

InfluxDB :https://influxdata.com/

OpenTSDB:OpenTSDB是基于HBase存储时间序列数据的一个开源数据库,确切地说,它只是一个HBase的应用而已。

  • 文件数据库

支持json(bson)格式,支持松散的数据结构。

  • 多维分析

Cube,mdx 都是为了解决OLAP分析的事情。

  • 跨界融合

举例1:PostgreSQL 9.2版本开始支持json,而且9.4的版本处理JSON的性能比Mongdb还要快。

举例2:NoSQL很多都支持弱事务,比如HBASE和Mongdb。

  • 构建闭环系统,自优化技术(微软的Nectar)

一个不能自优化的系统是一个开环系统。

不光是存储,其他资源管理,任务调度都在考虑闭环系统。

存储是否有技术和能力,结合workload,去自动调优数据的放置。存储格式是否能像查询一样进行抽象和描述?(查询是线性代数变化)

微软的Nectar系统,是一个典型,结合cache,自动缓存系统中间结果进行二次利用。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2016-07-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

MongoDB 如何使定制电子商务变得简单

开源电子商务软件市场已经历了众多发展阶段,您可能已经通过 osCommerce、Magento、Zen Cart、PrestaShop、Spree 等流行平台而...

2087
来自专栏云计算

你需要了解的37个现代数据中心术语

让我们深入研究一下最重要的现代数据中心术语中37个术语和定义的汇编清单。

5036
来自专栏华章科技

不懂这37个数据中心术语,怎么混数据圈饭局!

在今天的IT行业佼佼者中,“现代数据中心”这个概念得到了越来越多的重视。当然,它受到如此多的关注也是理所应当的。云计算,闪存存储,软件网络,容器以及大量的编排和...

902
来自专栏Java架构

Java分布式架构的演进过程

1946年,世界上第一台电子计算机在美国的宾夕法尼亚大学诞生,它的名字是:ENICAC ,这台计算机的体重比较大,计算速度也不快,但是而代表了计算机时代的到来,...

1856
来自专栏章鱼的慢慢技术路

游戏服务器概述

(1)了解常见查找/排序算法的特点:利用算法来改善性能,胜于通过编译器选项、编程技巧;

3902
来自专栏数据库新发现

好消息---Gmail增加免费POP3支持

Google网页数扩至80亿 增加免费POP3支持 (2004.11.12)   来自:ZDNET    在发布到Google公司blo...

1114
来自专栏重庆的技术分享区

微服务 - 从想法到迈出第一步

原文地址:https://codeburst.io/microservices-from-idea-to-starting-line-d6e8cd5e9bb4?...

1381
来自专栏我就是马云飞

该如何接手别人遗留下的代码?

在我们开始之前,你应该先了解一些事项。首先,请阅读这篇 Joel Spolsky 的著名文章,了解为什么永远不应该重写代码(https://www.joelon...

993
来自专栏Laoqi's Linux运维专列

饿了么的架构设计及演进之路(转)

1506
来自专栏互联网数据官iCDO

如何理解谷歌眼中的低质量页面?

译者:Nic 审校:朱玉雪 本文长度为3529字,预估阅读时间6分钟。 我们今天要向大家介绍的是谷歌是通过哪些因素来判定登录页面质量的高低 衡量页面质量的高...

2376

扫码关注云+社区