【前言】作为中国的 “Fivetran/Airbyte”, Tapdata Cloud 自去年发布云版公测以来,吸引了近万名用户的注册使用。应社区用户上生产系统的要求,Tapdata Cloud 3.0 将正式推出商业版服务,提供对生产系统的 SLA 支撑。Tapdata 目前专注在实时数据同步和集成领域,核心场景包括以下几大类: √ 实时数据库同步,如Oracle - Oracle, Oracle - MySQL, MySQL - MySQL 等 √ 数据入湖入仓,或者为现代数据平台供数,如: △ 常规 ETL 任务(建宽表,数据清洗,脱敏等) △ 为 Kafka/MQ/Bitsflow 供数或下推
具体场景则数不胜数,值此之际,我们将以系列文章形式,为大家盘点 Tapdata Cloud 可以支撑的业务场景,以便大家更好地在业务中应用 Tapdata,本期为系列文章第一弹。(点击文末「阅读原文」申请产品内测,抢先体验)
当前,异构数据库数据实时同步的应用场景极为常见,一方面随着数据库技术的更新换代、国产化替代,以及数据应用场景的拓展,传统数据库难以满足需求,亟待进行数据迁移与数据库升级;另一方面,历经几十年的数字化历程,企业数据孤岛越来越严重,将数据实时汇聚统一的需求也越发急迫。
传统异构数据库同步的常见实现方式主要是:1、数据库厂商本身提供的迁移/同步工具,像是 Oracle 的 OGG ;2、通过开源工具和自己编写 SQL 构建数据链路。而 Tapdata 则在这些模式之外,自研了一套完全脱离复杂执行逻辑的极简方案,并支持低代码、可视化操作。
Tapdata Cloud:低代码可视化实现异构数据库数据实时同步
作为一款由 Tapdata 推出的异构数据库实时同步 SaaS 服务,Tapdata Cloud 在产品能力上具备以下优势:
操作演示:以 Oracle → MySQL 的数据同步任务为例
第二步:创建数据目标 MySQL 连接
第三步:开启数据复制任务
【附录】操作注意事项
① 创建连接:配置时要特别留意屏幕右侧的【连接配置帮助】,确保【先决条件】所列各项,均已在服务器上得到支持。
② 源节点设置:
③ 目标节点的【高级设置】说明:
④ 【任务设置】说明:
可设置【同步类型】:当选择【全量】时只进行一次性的复制;如果只选择【增量】,则只会将任务启动后的变更同步到目标表。
⑤ 任务的【高级设置】说明:
⑥ 任务的保存和运行:
创建的任务都会被系统保存下来,处于【编辑中】状态。可以直接点击右上方的【启动】按钮进行配置检测和任务启动;也可以只点击【保存】按钮,只检测任务配置。如果可以启动,任务会被置为【待启动】状态。(*请注意定期清理编辑中的草稿任务)。
⑦ 画布的操作:
可以在画布上方点击撤销、重做或者删除节点、将内容居中、自动布局、框选、放大缩小、查看任务日志以及对任务进行详细的设置。
DB2、SQL Server、ClickHouse、Kafka、ActiveMQ、RabbitMQ、RocketMQ 等;数据目标支持:ElasticSearch、Redis、Hive1、ClickHouse、Apache Doris、Kafka、ActiveMQ、RabbitMQ、RocketMQ、Gbase 8s、OceanBase、Tablestore、Kylingence、BigQuery 等,均可按照上述操作方式,执行并完成数据迁移/实时同步任务。