一、常见redis数据迁移方式
业内,常见的redis数据迁移方式有以下三种:aof(日志文件)、rdb(快照文件)、replication(主从复制)。 其中,aof和rdb两种方式适用于跨网络(网络隔离)的redis实例之间的数据迁移,通过:在源实例上执行指令(bgrewriteaof/bgsave)生成aof或者rdb文件 -> 下载数据文件 -> 上传数据文件 -> 启动目标实例 -> 完成数据迁移。aof和rdb的差异,主要体现在数据格式和数据加载速度两个方面,前者是纯文本格式(redis文本协议的流水记录),加载的过程相当于历史重放,而后者是二进制格式,直接进行加载,所以一般情况下rdb数据加载会比aof加载快!这也是网上建议使用rdb做跨网络数据迁移的一个重要的原因。
而replication方式,适用于同一网络内的redis实例之间的数据迁移,在目标实例上通过指令(slaveof)完成数据全量复制迁移,在单实例的扩容应用上最适合。
二、开发redis-migration的需求
前面三种数据迁移方式都只解决点对点的数据迁移(缺陷1),而且aof和rdb还存在增量数据不能同步(缺陷2)的问题。事实上,我们开发redis-migration这个工具的原始需求来自于网易私有云redis集群的横向扩容:当集群在纵向扩容到达云主机规格极限时候,集群如何再进行扩容?
三、如何开发redis-migration
工具定义
比较前面三种数据迁移方式,思考能不能把replication(主从复制)的过程剥离出来做成一个独立工具呢?在连接源redis实例时候把自己模拟成slave,在连接目标redis实例(集群)时候把自己模拟成客户端,如下:
这样的话,源redis实例即使是分布式集群(多个源redis实例),也只需要同时启动多个迁移工具实例就能解决了,如下:
流程设计
迁移过程整体上可以分为三个部分:快照数据和增量数据,其中增量数据分为2个阶段,第1阶段会落地成文件,第二阶段不落地直接TCP转发:
技术难点
功能特点
工具价值
redis-migration迁移工具不仅可以解决外部实例迁往网易私有云redis集群、私有云redis集群横向扩容的问题,也可以解决外部redis集群的扩容问题,具有通用价值。比如:一个客户端分片的分布式redis集群,通过redis-migration工具(外加一个数据分片代理程序,比如twemproxy)将数据实时同步到新的集群,然后应用直接切到新集群上,集群横向扩容完成,中间不丢失任何数据!
应用案例
网易私有云线上已经有多个应用使用redis-migration进行了数据迁移,包括外部实例迁移、私有云分布式redis集群扩容等,下图为几个典型的应用:
另外,网易新闻客户端推荐系统2T规模的redis数据,也将会依赖redis-migration迁移到私有云redis集群上来,目前正处于资源准备阶段。
四、同行比较
豌豆夹redis数据迁移工具
redis-port,使用go语言实现,但只支持redis到codis的迁移,源码 :https://github.com/CodisLabs/redis-port
腾讯云redis数据迁移工具
crs-port,使用上和redis-port一致(包括日志信息),没有落地,比较吃内存,简单测试效率没有redis-migration高,下载地址:
http://www.qcloud.com/wiki/%E4%BA%91%E5%AD%98%E5%82%A8Redis(CRS)%E6%95%B0%E6%8D%AE%E5%AF%BC%E5%85%A5
分布式系统的横向扩容历来是很难实现的,对redis集群这种纯内存数据库也不例外,而redis-migration迁移工具是对分布式redis集群横向扩容实现的一次实践,事实证明效果比较理想!
原文地址:http://www.bitstech.net/2016/03/03/redis-migration/