存储沉思录2 企业存储架构之争 有什么好争？

前十年市场上存储最有技术的是高端存储，服务于大行金融、政府、运营商的核心业务，高端存储的特点就是贵，不贵不算高端存储，按照IDC的划分方式Band7~10（70~100万美金）才是高端存储，并不是指某个产品型号或者系列。

因此国产存储厂商正面自己是一家主流厂商的门槛就变成了你是否有高端存储，往细了解析，就是具备集群架构、全AA、高可靠的存储系统。但是其中其实最重要的还是高可靠，高可靠无法衡量，只能通过口碑以及历史来积累，所以这里基本是IBM/HDS/EMC三分天下，国产厂商很难突破。想当年为了突破高端市场我们做了很多努力，从技术、架构、功能、规格全方位的进行了诠释，定出一个高端存储的标准，才慢慢突破了高端存储市场，现在想来那就是存储厂商从一个特定领域厂商突破到领导者厂商的重要一步。

在2012~2014年全球最火的是全闪存，这个时候国内厂商还在努力做高端存储，等到国产厂商回过味觉得不跟不行的时候，EMC/IBM/HPE已经在全球大规模销售全闪存存储了，国内EMC就是将XtremIO作为每个销售的任务压下去，在全国卖了好多套，当时国内厂商都只能傻眼，没东西对位。到了2016~2017年不管是真的全闪存还是包装的还是OEM的，反正国产厂商全都具备了全闪存存储，但是是骡子是马拉出来溜溜，看看中国全闪存市场，高端全闪存还是EMC/H3C/huawei的竞争，中端加速厂商就群龙混杂IBM/EMC/H3C/Netapp都杀进来了。

2016~2017年是分布式存储火起来的几年，从只认企业存储到分布式存储以及超融合大行其道就是这两天的时间。最典型的代表就是中国移动，将自己的主流SAN业务全部迁移到Server SAN，敢为天下先，能不采购集中存储就不采购，逼着国内存储厂商来了一波大转型，开始在分布式存储上投资。由于各种开源分布式文件系统随处可见，Ceph已经在国内发展多年，也借着这股东风，不少创业公司也杀进来超融合和分布式存储的市场。

2019年到2020年到底什么存储形态会火起来，我很难预料，但是看当前的情况，全闪存和分布式存储两驾马车还是冲劲十足，在未来两年依然是唱主角。由于存储行业的衰落，EMC这种行业老大也没有了创新力，因此市场上反而没有什么明确的趋势可言，对于国产存储厂商来说未来怎么走也充满了迷茫。

高端存储和全闪存有什么区别？

当前的存储市场被大厂商人为的割裂，分为入门级、中端存储、高端存储，在全闪存出来之后还出现了独立的全闪存市场。

全闪存到底和高端存储有什么区别?中端存储和高端存储有什么区别？入门级存储和中端存储以及高端存储有什么区别？当这些问题涌现时，我们发现无法通过一个统一的标准来定义。

IDC和Garnter对于存储的分档以及分类定义各不相同，其实从根源看，还是为了销售的方便，如果没有一个统一的划分，如何来进行竞标。我没有从事过其他行业，不太了解当一个建筑标书、制造业标书以及其他是如何来界定的，但是从存储或者IT来说，就是一个参数的游戏。

在我看来，高端、中端、低端存储甚至于全闪存存储没有什么区别，只是用料的差异而已，甚至于用料都没有差异，只是规格大小的差异。你的软件做的好可靠性好，那你就可以高中低端市场全部用一套软件，比如说HDS、HPE 3par、Netapp。如果你的软件做的不好就只能在入门级玩玩，比如说HPE的MSA。当你的软件灌装在一个低配的硬件上就是低端、高配的硬件上就是高端，但是是否客户认可你还是需要长期的客户关系和案例去积累。

全闪存也一样。有人会定义为Flash-native和Flash-Optimized，一个是针对flash全新设计的架构一个是基于传统架构优化的架构，其实没有什么区别，无非是你做的好不好，针对全闪存全新设计的软件平台也有做的一塌糊涂（性能不稳定，重删压缩性能下降，缺乏企业功能），基于传统架构改良的也有做的非常优秀的（性能好，重删压缩冲击小）。传统架构插上SSD就是全闪存，全闪存没有架构之争只有好存储和不好的存储。

同样传统存储和全闪存也没有什么大的区别，就是闪存优化的好不好而已。

传统存储和分布式存储有什么区别？

现在超融合和分布式存储当道，很多人就认为传统存储时落后生产力，是一个落伍的代表，而分布式则代表着未来。中国移动就是这么认为，从他们的CIO开始，能不买传统存储就不买传统存储，大规模的采购分布式存储。

移动这么决定的原因有两个：1，传统存储太贵了。2，传统存储不适应大规模扩展以及云化场景的需求。3，分布式存储基于通用X86服务器搭建，不被绑定，降成本。

于是乎很多国内厂商就想了招，我也做分布式存储。反正开源的分布式文件系统一找一大堆。稍微改吧改吧加上自己的logo界面调试一下就能用，就这么风风火火的用起来了。

但是，我们可以看到，传统存储厂商虽然出了分布式存储但是还是一颗传统IT厂商的世界观和价值观。硬件绑定、license费用、高额维护费用，即将接踵而至。

其实分布式存储的未来大卖依赖几个前提，这几个前提正在消失：

1，软硬件解耦（现在不但没有解耦，大多数分布式软件正在走向定制化）

2，预期X86服务器性能每两年有大幅提升，同时价格不变

3，分布式存储软件兼容不同型号不同类型的硬件，可以随着硬件生命周期更迭而软件不需要替换。

上述三个条件其实已经全部消失

软硬件解耦现在正在逐步变成一个笑话，大多数厂商都是基于自己的生态和认证给出了一个典配，除了个别孤立的厂商还在坚守，比如说VSAN，因为VSAN根本不是靠卖分布式存储赚钱的。羊毛出在狗身上，卖VMware license就够了。

摩尔定律的失效导致未来的硬件成本将成为最主要的成本，谁有硬件优势谁才能活下去。于是乎ARM、RISC-V等处理器，自研NIC芯片、自研SSD或者CFM如雨后春笋层出不穷。未来的X86芯片可能会变成流程管理芯片而数据处理以及专项处理都会走向定制化，而介质也在走向定制化。没有硬件软件厂商将难以生存。连Commvault都开始做分布式存储了，传统存储厂商如何搞定？所以分布式所谓的基于X86一定便宜，并且性能够的这个命题正在变成一个伪命题。分布式存储只会变成一个大的传统存储。

当前分布式存储最大的问题则是不同硬件规格兼容和扩容。不同代次、不同规格服务器都不能放在一个池子里，更何况不同计算类型。因此，所谓的分布式存储正在变得挑剔，你以为他是一个杂食动物，怎么样都能长肉，而企业存储需要喂饲料，岂不知分布式存储变成一个固定规格食物的动物，你需要辛辛苦苦的再加工一下食物他才吃。

传统存储其实也是一个分布式存储，以高端存储为例，采用全局的分布式缓存，将数据分散在多个控制器后面的硬盘框里面，并且根据业务需求按照节点数进行扩展，不过扩展的单元就是一个双控，而不是一个单控的服务器。从这个维度来看他们的区别主要有以下几点

1，定制硬件与X86硬件，这个其实不重要，如果明天所有的企业存储采用X86服务器加标准JBOD组合是否就是分布式

2，控制器间的互联网络，企业存储的互联网络采用专用网络效率高成本高可靠性高，分布式存储的互联网络和业务网络公用效率低成本低可靠性低，其实就是一个廉价一个高价，并没有优劣

3，企业存储特性丰富，分布式存储企业特性不足。其实这个就是一个先做一个后做的问题，分布式存储在不断的补齐功能特性，快照、复制、双活、EC、重删压缩等，当到了2020年，两者企业特性即将齐平

4，扩展性问题，当前企业存储主要扩展16控，而分布式则一般都支持几十上百的节点，所谓几千个节点存粹是宣传值，不值得分析。但是根据EMC的宣传VMAX其实可以支持扩展到64控是不是也达到了分布式的扩展性?

5，元数据效率问题，这个才是一个最重要的区别，企业存储主要采用一个高效的元数据机制来保障业务的性能快速响应，而分布式存储要面对大规模扩展，需要考虑数据量增长后性能线性的问题，我们看到企业存储的SCALE-OUT衰减系数一般比较高，而分布式稍微好一些。就在于企业存储元数据和数据的访问和读写都采用树形结构来存储确保快速的访问，而分布式则采用hash环之类的算法，来保障大数据量时性能的稳定。这就导致数据量小时企业存储性能好，数据量大的时候分布式存储更好用。但是我们大多数企业的分布式存储到底多少节点，这个恐怕大家自己心里有数。

6，可靠性问题：企业存储采用确定性的配置，进行可靠性验证，硬件全冗余以及硬件的错误判断以及纠错来确保更高的可靠性。而分布式存储由于需要应对多变的环境和多变的硬件因此大多采用故障隔离，分区分域的方式来进行可靠性保障，因此两者在可靠性设计上的理念背道而驰，一个是要尽量弄清楚是什么问题，然后规避，一个是尽量的假设硬件出现问题进行隔离，宁杀一千，不放一个。

所以，企业存储只是分布式存储的一个定制化、性能优化、规模缩减、功能丰富的子集。区别仅仅在于故障处理的设计上，但是在分布式不断走向定制化固化配置的今天，故障处理也越来越向企业存储看齐。所以不可避免变成了一个性能差点、可靠性差点、功能差点但是价格便宜的存储系统。

为什么分布式在这个点火了，那是因为企业数据价值大幅下降，垃圾数据大大增加，而企业的预算和营收并没有大幅增加，所以存储的成本必须降，所以分布式就成了唯一的选择。当然如果企业存储也用差点的硬件、通用的网络是不是也就是满足了这个市场需求。但是我们发现历史上几乎所有的高价值系统被低价值&低性能&低可靠性的设备替换时都不愿意自降身价，所以相等传统存储厂商将企业存储系统改造成分布式存储无异于痴人说梦，所以我之前给领导说的让领导把软件灌装到X86硬件简直就是白痴呓语。