KV存储跨IDC容灾部署

1.背景

　　目前部分KV存储不支持跨IDC部署，所以如果有机房故障的话，就会影响KV存储的可用性。本文提供了一种通过KV存储代理层来实现跨IDC容灾部署的方案。

2.实现原理

　　考虑到多地写多地读实现起来比较复杂，而且一旦数据乱了，恢复数据也比较复杂。所以本方案采用的是单写多读的方式，即主IDC支持读写操作， 备IDC对外只读。主IDC的存储代理通过写流水文件到磁盘，通过Notify程序将流水传输到备IDC对应的存储代理Redo服务重做流水。Notify程序做流水文件分发， 可以分发给本地IDC， 也可以发送给备IDC。 　　如果主IDC出现故障，就可以把读请求通过负载均衡组件调度到备IDC，做到读操作容灾。如果备IDC出现故障，可以通过将读请求调度到主IDC，读写都不受影响。 　　为了降低存储代理的压力，读写服务可以做读写分离，读取操作可以直接访问本地存储。

3.KV存储代理层实现原理

　　客户端通过API接入KV存储代理, 如果是写操作, 存储代理会先写流水再操作本地KV存储. 流水转发程序会每隔10ms扫描流水,然后转发给流水转换服务. 流水转换服务会将所有命令的操作转换为Set操作,其value是从本地KV存储通过Get命令读取的最新值. 然后再将流水同步到另一个城市Redo Set命令.另外,一致性校验服务也会扫描1分钟之前的流水文件,一旦发现两地数据不一致,就会生成需要重试的流水.

4.小结

　　目前大部分业务都使用了KV存储作为落地存储，而KV存储本身不一定是支持跨IDC容灾部署的。本文提供了一个通用的解决方案，实现KV存储跨IDC容灾部署。

　　当然目前还存在配置文件过多导致运维不方便，缺少友好的管理后台，写操作流水跨IDC同步并发量低下，不支持多地写多地读等问题，后续可以继续完善。