首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >异构数据同步工具tapdata使用记录

异构数据同步工具tapdata使用记录

原创
作者头像
shynodes
修改2022-04-24 18:02:17
2.3K0
修改2022-04-24 18:02:17
举报
文章被收录于专栏:ShyNodesShyNodes

简介

本次由Mysql同步到Mongod集群中,Mysql为1主2从MHA实现的高可用架构,Mongodb是由3个复制集组成的分片集群(测试环境mongos只有一个,安全起见应该启两个做高可用。config复制集一个)

集群构架如下:

tapdata部署服务器

192.168.175.232(测试可集成于其中一台服务器)

Mysql

集群环境本意是通过写节点进行访问,做数据导出,测试时还是真连了主库

192.168.175.206主

192.168.175.207从

192.168.175.208从

写节点:55,读节点199

mongo

192.168.175.233

192.168.175.234

192.168.175.235

每台虚拟机上开四个端口,三个复制集和一个config集群,两个mongos分别在233,235上,测试只开启235

复制集端口:27010,27011,27012,config复制集端口:27019,

mongos端口使用的是27017

搭建过程省略,贴出简略示意图
3个复制集的分片伦集群
3个复制集的分片伦集群

tapdata安装

1、登录页面:https://cloud.tapdata.net/

2、注册登录后,管理agent,标签右侧有个部署,点击进行下一步

部署Agent,具体方法参考下方的Linux安装方法,详情上官网
部署Agent,具体方法参考下方的Linux安装方法,详情上官网

3、部署页面中有Linux安装方法

tapdata在linux的安装方法

安装方法

• 1. 部署前请确认你的本地环境中已安装 java

• 2. 请复制下方命令并在本地部署环境执行,其包含 Tapdata Agent 的下载、自动部署及启动

• 3. 下载、部署 Tapdata Agent 无需 root 权限

• 4. 我们非常建议在一个独立、干净的文件夹内部署 Tapdata Agent

wget "http://resource.tapdata.net/package/feagent/v1.0.3-cloud/tapdata" && chmod +x tapdata && ./tapdata start backend --downloadUrl http://resource.tapdata.net/package/feagent/v1.0.3-cloud/ --token a/HZzXh5MDbwPGd8hCzZYYF0XXgDZ287oY34Sx3QAq5Z7zikkMRcI62kZHXq8RRJj6VrJcSY6ehw4iM8d8LW1eVxsdTr0OD8MUuFxeIPgTSdKKFDc/otA5YWsBj5I0q2JUz9111sL5gW8EaKeWRGuk7gjwFc4WjU3csOv1lyX2j7q7GRBZ0R+9BcicStdfweBriD8BPyIPvZcIkQZSqWf2NrRQSK4Bg7Th/o1TApEnLS5uOQOpVt7XyKjDs5QmfPAWOTr+pzUkl9kDN8i6feUf33HueRHxXXJKFpXZuMp/PtANgEeE9RlESQBCppYcv9duMKOi1/1vMt1rLryAF1t2/np9W7M1nSqCp5lDFN5lv4YpjBeVGByuYeXe+7QLjvE2DC5yBPJjACa+A5BBX1Fo99cMJNLMm1lg0+QuqsuZU1UP8tiw+iRgdNArRdxrRckMMIoj3gGPPscvjZsC4vbQ==

关闭 Tapdata Agent

./tapdata stop

启动 Tapdata Agent

./tapdata start backend

查看 Tapdata Agent 状态

./tapdata status

注意

Tapdata Agent 运行后会在 Tapdata 官网 Agent 管理页面自动注册,此时你可通过管理页面对其进行管控,也可在本地使用命令行方式对其进行管控,如果你的本地部署环境无法连通公网,那么你可能无法在 Agent 管理页面看到对应 Tapdata Agent

注意

每个免费用户同一时刻只可运行一个Tapdata Agent

创建连接数据源

安装完成后,重新tapdata页面,创建数据源连接

在连接管理中,创建数据源,mysql正常提供IP,PORT,HOST即可正常连接,对于MongDB,要注意其URL的写法

添加连接数据源
添加连接数据源

我这里测试创建多添加了几个

通过可用数据源创建同步任务

任务设置同步方式
任务设置同步方式
配置同步哪些表信息
配置同步哪些表信息

开户同步任务

启动任务
启动任务

备注:开启同步任务与上一步图中创建任务名称不同,还请使用时,开启自己创建的同名任务

点开运行监控选项,可见同步进度,与运行日志相关内容

点击运行监控
点击运行监控

#### 下方可见运行日志及任务里程碑

同步进度信息
同步进度信息
同步进度中的,传输耗时与同步差距
同步进度中的,传输耗时与同步差距
可以在Mongod分片集群中看到同步过来的信息
可以在Mongod分片集群中看到同步过来的信息

详细的请参考官方网站指导信息

https://cloud.tapdata.net/#/registry

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 简介
  • 集群构架如下:
    • tapdata部署服务器
      • Mysql
        • mongo
          • 搭建过程省略,贴出简略示意图
          • tapdata安装
            • tapdata在linux的安装方法
            • 创建连接数据源
            • 通过可用数据源创建同步任务
            • 开户同步任务
            • 详细的请参考官方网站指导信息
            相关产品与服务
            数据库
            云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档