纠删码集群需要关注的哪些

纠删码存储方案

• 按照存储单元单元连接方式,纠删码存储可以分为基于高速总线的磁盘阵列、LAN方式的集群、基于WAN/Internet方式的广域网存储系统。阵列码是一种特殊化的纠删码，采用高效率的异或运算 。国内大部分纠删码存储主要集中在磁盘阵列和阵列编码两个分支。纠删码存储集群的重要设计目标就是降低总体成本。

数据访问频度

• 国外大公司通过分析很多应用的I/O特征发现，数据访问的频度随着时间递减，这与数据信息生命周期概念保持了一致，即在数据创建的时候，访问数据的频度很高，这些数据称为热数据;经过一段时间后，这些数据访问的频度下降，这些数据就成为温数据。

纠删码存储集群关注关键点

• 降级读：分布式存储系统出现故障可以分为临时性节点故障和永久性节点故障。其中永久性节点故障是指数据由于硬件损坏导致节点数据无法访问;如果节点是因为掉电这主要的原因短时间内不能访问，这就是临时性故障。研究表明，数据中心的数据失效事件中临时性数据失效在所有数据失效故障中占比最高。如果节点出现了临时性故障，用户的IO落到这个节点，系统需要从其他的存活的节点读取相关数据吗，通过解码操作计算出需要的数据，这个就是降级读。降级读需要花费比正常读取操作几倍的时间，这个对于存储系统的SLA有很大的影响，所以提升降级读的性能就非常有意义。Khan等提出一种算法可以最小化单节点失效情况下重构操作和降极读操作需要的数据。
• 写更新：纠删码集群写更新有两种针对RMW更新优化的方法，第一种是由Aguilera等提出，如果数据块D1被更新为D2，计算出D2-D1并将其通知给集群里的所有节点，校验节点最终完成运算；第二种Hafner等为保证校验数据一致性提出一种校验更新的方法，数据节点完成就数据分块和新数据分块的差分块，并由数据节点将差分块发送给第一个校验节点，第一个校验节点在将查分块转发给第二个校验分块，依次转发。这两种更新优化都是通过RMW方式达到数据更新和校验更细的木库，其优化的想法在于将更新过程进行分解成多个步骤，由不同节点完成不同更新步骤，避免集中式计算校验分块。 -节点重构：当节点永久性失效时，纠删码存储系统需要进行数据重构过程以恢复失效数据，这个过程称为节点重构。节点重构从是否响应用户IO，可以分为在线重构和离线重构。针对重构加速失效节点数据问题，一般就可以采用降低用户IO、重构IO互补干扰、提供重构IO的并行度、优化解码操作、降低校验组大小(k+m整体变小)、减少数据重构过程中网络传输。