首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Tapdata Cloud 开启「傻瓜模式」:异构数据实时同步,原来可以这样简单

Tapdata Cloud 开启「傻瓜模式」:异构数据实时同步,原来可以这样简单

作者头像
Tapdata
发布2022-09-02 10:36:52
发布2022-09-02 10:36:52
1.8K0
举报
文章被收录于专栏:TapdataTapdata

2月23日,Tapdata 系列研讨会第3期如约而至,Tapdata 项目经理马建平「在线教学」,从功能架构、具体操作、术语讲解等多个内容板块展开,基于历史高频问题与观众现场提问,点对点突破,以期针对性地帮助大家快速拿下 Tapdata Cloud 日常使用过程中的常见痛点及困惑

初听 Tapdata Cloud,不知道这是什么;

初识 Tapdata Cloud,不知道能怎么用;

初试 Tapdata Cloud,不知道该怎么用……

想要立刻快进⏩,加速通过「听、识、试」环节,高效评估其可用性和易用性,从而得以正式将真正好用的 Tapdata Cloud 投入日常使用,开启永久免费、安全稳定的「0」代码异构数据实时同步新体验?看这一篇就够了!

另附本期研讨会视频回放及 PPT 下载链接:

直播回放: https://live.csdn.net/room/wl5875/i9OTIPCu 课件领取: http://tapdata-user.mikecrm.com/FW4QxsH

什么是 Tapdata Cloud

数据实时可用,原来可以如此简单

Tapdata Cloud 是由 Tapdata 提供的集数据同步、数据融合(即将上线)、数据服务(即将上线)为一体的实时数据融合服务,能够在跨云、跨地域、多类型数据源的场景下,提供毫秒级的实时数据同步服务和数据融合服务。

现已实现 Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、MariaDB 之间的数据同步,即将支持 DB2、Sybase ASE、Redis、GBase、GaussDB 等,并永久免费。

架构解析

如上图所示,Tapdata Cloud 由两部分构成:

  1. TCM(Tapdata Cloud Manager):Tapdata Cloud 管理端,负责 Agent 实例的安装,同步任务的配置、分发、任务状态监测。
  2. Tapdata Agent:Tapdata Cloud 数据同步服务的执行实例,负责从 TCM 获取任务信息,通过流式技术从源系统获取数据、处理转换数据并发送到目标系统,并在任务执行过程中监测并上报任务状态至 TCM。

您的数据不会到达 Tapdata 管理服务器,无需担忧数据泄露风险。

Tapdata Cloud 操作指南

三步安装,迅速上手

初次部署戳这里 👆 立刻查看演示视频

如何安装 Agent

目前支持 Linux、Docker、Windows 三种服务器类型下的安装。

👉 进入 Agent 管理,点击创建 Agent

👉 点击【立即部署】

👉 按照安装指引完成部署

【常见问题】

① 关于 JDK 的安装与环境变量配置

为了不影响 Agent 的正常运行,建议安装版本不低于 1.8 的 JDK,并配置正确的环境变量。

② 是否可以安装多个 Agent

可以。目前没有安装数量限制。当安装多个 Agent 时,整个任务的运行方式是:根据 Agent 的负载情况,随机调度到某一个 Agent 上运行。

③ 是否支持跨网络同步

可以实现。Tapdata Cloud 的同步实现,依赖于 Agent 与源和目标之间的网络互通。因此,只要将 Agent 部署在一个能同时访问到两端网络的服务器上,即可满足我们的跨网络同步需求。

④ Agent 离线之后如何重启

需要在服务器上手动启动,在安装 Agent 的电脑上输入 tapdata start。

数据连接配置

👉 点击创建连接,确保 Agent 与源数据库和目标数据库连接

👉 选择数据连接类型,按照侧边栏配置说明填写内容并测试保存

*各常用数据库连接配置详解及操作演示,参见上文直播回放视频

👉 点击创建任务,对现有的数据库或相应的表进行同步和状态管理

👉 按指引依次完成连接选择、任务属性设置、源端待同步表勾选,以及所需的表设置

👉 启动任务

【数据连接常见术语表】

  • Schema:数据库对象的集合
  • CDC:数据库的机制,不会带来额外的影响
  • 全量:全量同步会将源库中待迁移对象的存量数据,一次性全部迁移到目标库中,源库的新增数据不会被迁移至目标库
  • 增量:增量同步会将执行同步任务后源库产生的增量数据实时同步至目标库

【常见问题】

① 时区配置问题,连接里的时区要如何配置?

时间类型的时区:默认使用该数据库的时区;若指定时区,则使用指定后的时区设置

例如:

  • 源端数据库 MySQL 默认数据库时区,数据库时区为 +8:00
  • 目标端数据库 MySQL 为制定时区 +0:00

——源端数据库存储的时间为 2020-01-01 16:00:00,目标端数据库存储的时间则为2020-01-01 08:00:00

② 数据库地址配置问题:数据库地址要怎么配置,需要公网 IP 吗?

根据 Agent 所在位置来决定如何配置数据库地址。如果 Agent 部署在内网,源和目标数据库也都在内网,则可以直接使用内网 IP 来配置数据库地址,且可大大提升数据同步效率。

③ Schema 大小写问题:为什么有时测试连接提示 Schema 不存在?

因为一些数据库的 Schema 是区分大小写的,提示您 Schema 不存在时可以尝试更换 Schema 的大小写后再尝试。

猜你想问

Tapdata Cloud 快问快答

是否支持断点续传?

支持,且有 checkpoint 机制保证数据完整性。

Tapdata Cloud 能否在单位内部网络部署?

支持,只要和控制台网络是通的就可以。

数据安全如何保障,会否被留存?

不会。我们只负责调度,不是数据的搬运工。

同步时,数据只会经过用户自己部署的客户端,不会上传也不会留存,数据不会通过云平台,云平台只负责调度

用户数据安全优先的架构设计,用户信息、任务信息全程加密的安全措施,充分保障用户的信息安全和数据安全:

  • 单向连接:同步实例节点单向连接管控端运行服务。Tapdata agent实例节点对外不主动暴露网络信息,只会连接 TCM管理端服务,获取任务信息、上报状态信息。
  • HTTPS 协议:用户部署的Tapdata agent实例节点和 TCM 通信链路采用 HTTPS 协议,防止盗取并篡改信息。
  • 可信环境:自建模式下,所有数据流转均发生在受用户管理的服务器和网络环境,数据不流出泄漏。

更多常见问题,指路自助查询文档: https://www.yuque.com/tapdata/cloud/chan-pin-jian-jie_faq

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-02-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Tapdata 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 什么是 Tapdata Cloud
    • 架构解析
    • 如何安装 Agent
      • 【常见问题】
    • 数据连接配置
      • 【数据连接常见术语表】
      • 【常见问题】
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档