唯品会Mysql数据管道系统RDP正式对外开源

RDP介绍

RDP是高可用、低延时、可追溯的MySQL数据订阅基础组件，全称是Real-Time Data Pipeline，是一个从MySQL同步数据到Kafka的数据管道。正如这个名字一样，RDP不生产数据，只是数据的“搬运工”。

RDP总体架构

RDP基本特性

RDP应用场景

数据同步：同步数据库Binlog数据，解析后写入Kafka，业务消费Kafka获取数据库增量数据。

事件通知：通过RDP同步增量数据库数据至Kafka，业务消费Kafka，获取数据库的变动情况，根据订阅事件进行相应的业务操作。

读一致性事件通知：RDP会主动等待Slave的同步进度，等待指定Slave追上同步进度或者超过一定阈值，才将事务写到Kafka。

如何加入RDP讨论群