学习
实践
活动
专区
工具
TVP
写文章
专栏首页运维前线redis-migration:独创的redis在线数据迁移工具

redis-migration:独创的redis在线数据迁移工具

一、常见redis数据迁移方式

业内,常见的redis数据迁移方式有以下三种:aof(日志文件)、rdb(快照文件)、replication(主从复制)。 其中,aof和rdb两种方式适用于跨网络(网络隔离)的redis实例之间的数据迁移,通过:在源实例上执行指令(bgrewriteaof/bgsave)生成aof或者rdb文件 -> 下载数据文件 -> 上传数据文件 -> 启动目标实例 -> 完成数据迁移。aof和rdb的差异,主要体现在数据格式和数据加载速度两个方面,前者是纯文本格式(redis文本协议的流水记录),加载的过程相当于历史重放,而后者是二进制格式,直接进行加载,所以一般情况下rdb数据加载会比aof加载快!这也是网上建议使用rdb做跨网络数据迁移的一个重要的原因。

而replication方式,适用于同一网络内的redis实例之间的数据迁移,在目标实例上通过指令(slaveof)完成数据全量复制迁移,在单实例的扩容应用上最适合。

二、开发redis-migration的需求

前面三种数据迁移方式都只解决点对点的数据迁移(缺陷1),而且aof和rdb还存在增量数据不能同步(缺陷2)的问题。事实上,我们开发redis-migration这个工具的原始需求来自于网易私有云redis集群的横向扩容:当集群在纵向扩容到达云主机规格极限时候,集群如何再进行扩容?

三、如何开发redis-migration

工具定义

比较前面三种数据迁移方式,思考能不能把replication(主从复制)的过程剥离出来做成一个独立工具呢?在连接源redis实例时候把自己模拟成slave,在连接目标redis实例(集群)时候把自己模拟成客户端,如下:

这样的话,源redis实例即使是分布式集群(多个源redis实例),也只需要同时启动多个迁移工具实例就能解决了,如下:

流程设计

迁移过程整体上可以分为三个部分:快照数据和增量数据,其中增量数据分为2个阶段,第1阶段会落地成文件,第二阶段不落地直接TCP转发:

技术难点

  1. 解析数据文件:包括AOF和RDB,相对而言解析AOF文件会简单些,它是文本格式的,按照redis协议纯文本处理即可;而RDB文件是二进制格式的,自己重新实现没这个必要,因为redis已经有解析RDB的接口,但源码是和redis本身是耦合在一起的,比如对各种共享对象、全局变量、数据结构dict/sds等的依赖,所以最后实现上变成了redis-benchmark.c和redis.c的结合体;
  2. 处理redis协议:解析来自数据源的redis数据,读取落地的RDB和AOF文件数据组装成redis协议数据。虽然客户端使用的还是hiredis库,但是请求和应答报文,都不能使用库提供的接口来组装和解析,需要重新实现,这一块工作量比较大。RDB和AOF的请求报文组装以及各自应答消息的解析与校验,其中RDB数据是二进制的,所以需要逐字段进行组装,hiredis库没有提供这样的接口,而且假设提供了也需要评估起性能;同时RDB数据里会设置key的有效时间,一条RDB数据可能需要组装成两条redis指令;两种数据都解析出类型后,用来精确判断应答消息的正确与否;
  3. 设计高效迁移:RDB数据有个特点,它保存的是每个key的快照,无时序要求,所以可以考虑并发发送的方式,提高迁移速度;而AOF数据,有时序要求,在目的地进行重放加载,不能并发,否则会乱序,出现数据错误,只能一个客户端发送,这时采用的是pipeline(批量)的方式;
  4. 方便调试定位:迁移工具和数据源、数据目的地的交互都是在线TCP流,而且都是瞬间完成的,对于中间的错误和异常,比较难以捕捉,现在的做法是在数据流入和流出的地方统一加了十六进制的报文日志;

功能特点

  1. 轻量级:仅增加了1个redis-migration.c文件,同时在Makefile文件中增加编译redis-migration二进制程序的2行指令;单线程,异步消息驱动模型,轻量化,工具编译出来约4M大小;
  2. 高性能:前面有人可能会好奇,单线程程序怎么实现多客户端并发?是这样的,因为一个客户端的请求是串行的,存在RTT这样一个时间窗口,那么在这个时间窗口里并发多个客户端就可以避免系统等待,极大提高性能;另外,AOF迁移时候使用了pipeline特性,批量发送,减少RTT来加速迁移;
  3. 低成本:迁移过程中的数据都做了落地处理,工具本身没有对数据进行加载,内存开销就很小,这一点非常重要!
  4. 易操作:启动后,观察迁移进度日志即可;

工具价值

redis-migration迁移工具不仅可以解决外部实例迁往网易私有云redis集群、私有云redis集群横向扩容的问题,也可以解决外部redis集群的扩容问题,具有通用价值。比如:一个客户端分片的分布式redis集群,通过redis-migration工具(外加一个数据分片代理程序,比如twemproxy)将数据实时同步到新的集群,然后应用直接切到新集群上,集群横向扩容完成,中间不丢失任何数据!

应用案例

网易私有云线上已经有多个应用使用redis-migration进行了数据迁移,包括外部实例迁移、私有云分布式redis集群扩容等,下图为几个典型的应用:

另外,网易新闻客户端推荐系统2T规模的redis数据,也将会依赖redis-migration迁移到私有云redis集群上来,目前正处于资源准备阶段。

四、同行比较

豌豆夹redis数据迁移工具

redis-port,使用go语言实现,但只支持redis到codis的迁移,源码 :https://github.com/CodisLabs/redis-port

腾讯云redis数据迁移工具

crs-port,使用上和redis-port一致(包括日志信息),没有落地,比较吃内存,简单测试效率没有redis-migration高,下载地址:

http://www.qcloud.com/wiki/%E4%BA%91%E5%AD%98%E5%82%A8Redis(CRS)%E6%95%B0%E6%8D%AE%E5%AF%BC%E5%85%A5

分布式系统的横向扩容历来是很难实现的,对redis集群这种纯内存数据库也不例外,而redis-migration迁移工具是对分布式redis集群横向扩容实现的一次实践,事实证明效果比较理想!

原文地址:http://www.bitstech.net/2016/03/03/redis-migration/

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!
本文分享自作者个人站点/博客:http://blog.csdn.net/wh211212复制
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • Redis migrate 数据迁移工具

    在工作中可能会遇到单点Redis向Redis集群迁移数据的问题,但又不能老麻烦运维来做。为了方便研发自己迁移数据,我这里写了一个简单的Redis迁移工具,希望对...

    宜信技术学院
  • Redis的slot迁移工具

    工具下载: https://github.com/eyjian/redis-tools/blob/master/move_redis_slot.sh 支持迁...

    一见
  • 初学乍练redis:使用redis-migrate-tool做redis在线数据迁移

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1148526
  • 在线系统数据服务的迁移策略

    成都办公室的张耀丹是去年毕业的,只是他的职业生涯一开始就面对一个复杂的遗留系统。好在遗留系统的复杂并没有让他退却,而是从中学习到了解决遗留系统的思考之道。 他写...

    ThoughtWorks
  • Sqoop数据迁移工具的使用

    原文链接:https://foochane.cn/article/2019063001.html

    foochane
  • 使用redis-shake 进行redis的数据同步或迁移操作

    redis-shake 是阿里开源的一个redis 同步工具(redis-migrate-tool比较老了,对一些命令的支持不好,并且官方的版本对应4.X的直接...

    二狗不要跑
  • 【数据迁移工具】使用 kettle数据迁移从oracle到mysql的图文教程

    在工作中,我们有时候会遇到这种情况。老系统或其他系统使用的数oracle数据库,现在使用新系统,需要使用mysql数据库。但是之前数据也要迁移过来。那么这种请求...

    凯哥Java
  • 数据库迁移有什么技巧?|分享强大的database迁移和同步工具

    DBConvert Studio 是一款强大的跨数据库迁移和同步软件,可在不同数据库格式之间转换数据库结构和数据。它将成熟、稳定、久经考验的 DBConvert...

    IT大咖说
  • 清空Redis集群所有节点的数据工具

    一见
  • 怎样实现两台redis服务器的数据迁移

    有一台原本已用了一年的华为云服务器到期了,因为各方面的考虑,准备迁移到腾讯云上面去,因为redis里也有一些持久化保存的数据,所以也需要做迁移。

    风柏杨4711
  • 提取在线数据的9个海外最佳网页抓取工具

    Web Scraping工具专门用于从网站中提取信息。它们也被称为网络收集工具或Web数据提取工具。

    Blue姐
  • 4 种姿势让你彻底掌握 Redis 的导入导出以及数据迁移

    闲着无事,在家里无聊。两天前,我搞了一个《2020-nCoV 新型肺炎确诊患者相同行程查询工具 V1.3》,在朋友圈里疯狂转发!我兴奋极力了,这让我感受到了作为...

    业余草
  • 使用这个在线工具,可以轻松获取全球任意区域的建筑数据

    最近体验了一个傻瓜式的AI识别工具,框选一个范围后就可以自动给你生成所选区域的建筑轮廓、道路、森林等数据,操作非常简单。

    陈南GISer
  • 使用kellte(ETL工具)对数据的抽取、迁移等操作(入门安装篇)

    Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Ke...

    游离于山间之上的Java爱好者
  • 异地视频共享/组网工具EasyNTS如何进行穿透接口的数据迁移?

    EasyNTS的主要作用就是解决异地视频共享/组网的需求,网页对域名进行添加映射时,添加成功后会生成一个外网访问地址,在浏览器中输入外网访问地址,即可查看内网应...

    TSINGSEE青犀视频
  • 组件分享之后端组件——基于Golang实现的数据库迁移工具dbmate

    近期正在探索前端、后端、系统端各类常用组件与工具,对其一些常见的组件进行再次整理一下,形成标准化组件专题,后续该专题将包含各类语言中的一些常用组件。欢迎大家进行...

    cn華少
  • 企业实战(20)ETL数据库迁移工具Kettle的安装配置详解

    Kettle简介:Kettle 是 PDI 以前的名称,PDI 的全称是Pentaho Data Integeration,Kettle 本意是水壶的意思,表...

    非著名运维
  • 不会编程也能做这么酷炫的视频风格迁移?这个工具冲上Reddit热榜,还能在线试玩

    这两天,Reddit上一则关于视频风格迁移的帖子火了,发布仅一天就冲上了机器学习社区的热榜第一。

    深度学习技术前沿公众号博主

作者介绍

shaonbean

    点掌财经Developer

    点掌财经 · Developer (已认证)

    专栏

    精选专题

    活动推荐

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    扫码关注腾讯云开发者

    领取腾讯云代金券