大数据数据传输篇之DataX

一. 简介

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能

设计理念

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步

二. 核心

架构图

datax 3.0 核心架构

核心优势

1. 可靠的数据质量监控
2. 丰富的数据转换功能
3. 精准的速度控制
4. 强劲的同步性能
5. 健壮的容错机制
6. 线程级别重试

与sqoop 的对比

三. 其他

1. 学习

https://www.jianshu.com/p/f5f0dc99d5ab ***** https://tech.youzan.com/datax-in-action/ https://github.com/alibaba/DataX //阿里