内容目录
一、DataX数据同步原理二、全量同步实现三、增量同步的思考四、增量同步实现方案五、关于DataX高可用参考
一、DataX数据同步原理
DataX 是阿里云 DataWorks数据集成 的开源版本...否则,异常退出,进程退出值非0
DataX调度流程:
举例来说,用户提交了一个DataX作业,并且配置了20个并发,目的是将一个100张分表的mysql数据同步到odps里面。...从日志看到以下内容就代表同步任务执行成功:
三、增量同步的思考
当然,我们对数据的同步并不是每次都需要做全量同步,那么如果某些表已经做过一次存量同步之后,如何做增量同步呢?...首先Datax是单表同步,那么如果我们需要做增量同步,就需要知道增量的"量"是什么,度量规则是什么。
增量是指距离上一次同步(全量或者增量),增加的数据行数,也是本次需要同步的空间范围。...四、增量同步实现方案
之所以叫做增量同步,要么是实时触发,要么是固定频率触发,而Datax更适合使用固定频率的方式触发。