etl engine CDC模式实时同步postgre增量数据解决方案原创

今天我们给大家介绍通过ETL engine。提供的CDC模式实现poster实时增量同步的解决方案。从部署图中可以看到。ETLN诊部署在前置机上。实时监控源数据册中poster wall日志文件。将变化的数据实时同步到目标数据册中的poster。Oracle。MYSQL等数据库。在做实操之前，我们需要准备。以下前置条件。事先将。Master和slave数据库。分别安装在两台机器上。或将master和SLAVE2个数据库。

均安装在同一台机器上。我们分别创建。T和T32张数据表。以上环节我们已事先模拟完毕，下面我们创建一个ETL engine任务。我们提供了MYSQLCDC。Poster CDC。两类监控节点。分别实现MYSQL实时同步增量数据的功能。我们看一下已经配置好的。

ETL任务中各节点的配置细节。我们配置监视员数据册，两张数据表。ETL engine任务运行后会显示这两张数据表的变化。并将变化的数据。输出到目标数据侧。DB数据库当中。当前元数据测。是。Poster数据库。数据库用户是哈，我们只需要配置这几个参数。就可以实现实时监控源数据库，并将变化数据同步到目标数据库的效果。我们运行一下。

目前我们的。Poster CDC模式。阻塞服务已经运行完毕。下面我们做一些模拟数据。看一下效果。分别连接两个终端，一个是原数据测post Grace数据库，一个是目标数据测DB1数据库。下面我们将演示下。T数据表。做增加、修改、删除操作。原数据测数据的变化会实时同步到。目标数据测地B1数据库上。

我们现在。看一下。TE数据表结构中。有字符、数字。日系、布尔浮点等字段类型。DB上T1数据表结构也是。一模一样的，要保证两侧表名和字段名都一样。我们先模拟。增加五条记录。先增加一条，我们到目标测地B仪上来看。T。是否发生变化？

可以看到。数据已经新增了。我们再看一下原数据册当中。Posts数据库。这是原表数据。下面我们继续增加。看一下原表数据。五条。分别是100.011直到500.05。我们切换到目标侧。看一下DB1。数据库当中的数据。

已经发生了变化。下面在原数据库当中。做修改操作。将第一条和第四条。数据分别做一下修改。再看。DB上的数据。已经变化了。第一条和第四条。在座。删除操作。我们删除原数据库前三条记录。目标数据库应该只剩下第四条和第五条。

我们看一下目标数据库。在DB上执行查询。的确，剩下的是第四和第五条记录。这证明。Master数据库和sla数据库是实时同步的。实现了增量同步效果。我们在。验证一下。任务中配置了监视两个数据表。还有一个T。验证是否同时也监视T3的变化。原数据测体三。有八个字段。目标测地B1数据库。T3。数据表结构和原数据测试看一下。

T3。目前没有数据。我们针对T3也是做同样的操作。先增加四条。再到目标侧。看一下T3有。四条记录。增加操作已经实时同步了。再做修改操作。把首字母变大写。第一条和第四条分别做了修改。我们到目标测。

第一条和第四条看一下是否做了修改。第一条和第四条。已经同步。再做删除操作。第二条和第三条。看一下目标测。是否删除了第二条和第三条？已经删除了第二条和第三条，证明ETL？通过CDC模式实现了poster。实时增量同步的功能。