唯品会Mysql数据管道系统RDP正式对外开源

RDP介绍

RDP是高可用、低延时、可追溯的MySQL数据订阅基础组件,全称是Real-Time Data Pipeline,是一个从MySQL同步数据到Kafka的数据管道。正如这个名字一样,RDP不生产数据,只是数据的“搬运工”。

RDP总体架构

RDP基本特性

RDP应用场景

数据同步:同步数据库Binlog数据,解析后写入Kafka,业务消费Kafka获取数据库增量数据。

事件通知:通过RDP同步增量数据库数据至Kafka,业务消费Kafka,获取数据库的变动情况,根据订阅事件进行相应的业务操作。

读一致性事件通知:RDP会主动等待Slave的同步进度,等待指定Slave追上同步进度或者超过一定阈值,才将事务写到Kafka。

如何加入RDP讨论群

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181218B1640400?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券