专栏首页ShyNodes异构数据同步工具tapdata使用记录
原创

异构数据同步工具tapdata使用记录

简介

本次由Mysql同步到Mongod集群中,Mysql为1主2从MHA实现的高可用架构,Mongodb是由3个复制集组成的分片集群(测试环境mongos只有一个,安全起见应该启两个做高可用。config复制集一个)

集群构架如下:

tapdata部署服务器

192.168.175.232(测试可集成于其中一台服务器)

Mysql

集群环境本意是通过写节点进行访问,做数据导出,测试时还是真连了主库

192.168.175.206主

192.168.175.207从

192.168.175.208从

写节点:55,读节点199

mongo

192.168.175.233

192.168.175.234

192.168.175.235

每台虚拟机上开四个端口,三个复制集和一个config集群,两个mongos分别在233,235上,测试只开启235

复制集端口:27010,27011,27012,config复制集端口:27019,

mongos端口使用的是27017

搭建过程省略,贴出简略示意图

3个复制集的分片伦集群

tapdata安装

1、登录页面:https://cloud.tapdata.net/

2、注册登录后,管理agent,标签右侧有个部署,点击进行下一步

部署Agent,具体方法参考下方的Linux安装方法,详情上官网

3、部署页面中有Linux安装方法

tapdata在linux的安装方法

安装方法

• 1. 部署前请确认你的本地环境中已安装 java

• 2. 请复制下方命令并在本地部署环境执行,其包含 Tapdata Agent 的下载、自动部署及启动

• 3. 下载、部署 Tapdata Agent 无需 root 权限

• 4. 我们非常建议在一个独立、干净的文件夹内部署 Tapdata Agent

wget "http://resource.tapdata.net/package/feagent/v1.0.3-cloud/tapdata" && chmod +x tapdata && ./tapdata start backend --downloadUrl http://resource.tapdata.net/package/feagent/v1.0.3-cloud/ --token a/HZzXh5MDbwPGd8hCzZYYF0XXgDZ287oY34Sx3QAq5Z7zikkMRcI62kZHXq8RRJj6VrJcSY6ehw4iM8d8LW1eVxsdTr0OD8MUuFxeIPgTSdKKFDc/otA5YWsBj5I0q2JUz9111sL5gW8EaKeWRGuk7gjwFc4WjU3csOv1lyX2j7q7GRBZ0R+9BcicStdfweBriD8BPyIPvZcIkQZSqWf2NrRQSK4Bg7Th/o1TApEnLS5uOQOpVt7XyKjDs5QmfPAWOTr+pzUkl9kDN8i6feUf33HueRHxXXJKFpXZuMp/PtANgEeE9RlESQBCppYcv9duMKOi1/1vMt1rLryAF1t2/np9W7M1nSqCp5lDFN5lv4YpjBeVGByuYeXe+7QLjvE2DC5yBPJjACa+A5BBX1Fo99cMJNLMm1lg0+QuqsuZU1UP8tiw+iRgdNArRdxrRckMMIoj3gGPPscvjZsC4vbQ==

关闭 Tapdata Agent

./tapdata stop

启动 Tapdata Agent

./tapdata start backend

查看 Tapdata Agent 状态

./tapdata status

注意

Tapdata Agent 运行后会在 Tapdata 官网 Agent 管理页面自动注册,此时你可通过管理页面对其进行管控,也可在本地使用命令行方式对其进行管控,如果你的本地部署环境无法连通公网,那么你可能无法在 Agent 管理页面看到对应 Tapdata Agent

注意

每个免费用户同一时刻只可运行一个Tapdata Agent

云端创建连接数据源

安装完成后,重新tapdata云端页面,创建数据源连接

在连接管理中,创建数据源,mysql正常提供IP,PORT,HOST即可正常连接,对于MongDB,要注意其URL的写法

添加连接数据源

我这里测试创建多添加了几个

通过可用数据源创建同步任务

任务设置同步方式
配置同步哪些表信息

开户同步任务

启动任务

备注:开启同步任务与上一步图中创建任务名称不同,还请使用时,开启自己创建的同名任务

点开运行监控选项,可见同步进度,与运行日志相关内容

点击运行监控

#### 下方可见运行日志及任务里程碑

同步进度信息
同步进度中的,传输耗时与同步差距
可以在Mongod分片集群中看到同步过来的信息

详细的请参考官方网站指导信息

https://cloud.tapdata.net/#/registry

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 阿里离线数据同步工具 DataX 踩坑记录

    最近在做一些数据迁移相关工作,调研了一些工具,发现DataX是个不错的东西,所以安利给大家。那么DataX是什么呢? DataX 是阿里巴巴集团内被广泛使用的离...

    haifeiWu
  • 360开源的Qconf配置同步工具使用记录

    我是攻城师
  • HBase使用HashTable/SyncTable工具同步集群数据

    复制(在上一篇博客文章中介绍)已经发布了一段时间,并且是Apache HBase最常用的功能之一。使集群与不同的对等方复制数据是非常常见的部署,无论是作为DR策...

    大数据杂货铺
  • 干货分享| MongoDB 中文社区2021长沙大会PPT及视频下载

    5月29日,MongoDB中文社区携手MongoDB官方和Tapdata一起在长沙开展2021年第一场线下大会。本次大会带来了包括MongoDB的典型应用案例,...

    MongoDB中文社区
  • 使用mirrormaker工具同步CDH-kafka数据到TBDS-kafka

    把CDH集群的kafka数据同步到TBDS的kafka集群做测试,可以使用自带的mirrormaker工具同步

    袁宋
  • Elastic Meetup 2021 深圳站回顾

    一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天,小伙伴们技术交流的方式也变得多样化。2021年8月21日下午,ES 中文社区联合...

    黄华
  • Elastic Meetup 2021 深圳站回顾

    一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天,小伙伴们技术交流的方式也变得多样化。2021年8月21日下午,ES 中文社区联合...

    黄华
  • Elastic Meetup 2021 深圳站回顾

    背景 一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天,小伙伴们技术交流的方式也变得多样化。2021年8月21日下午,ES 中文...

    腾讯QQ大数据
  • MongoDB入门实战教程(8)

    前面我们学习了模型设计中的内嵌模式与引用模式的使用,本篇我们来看看在模型设计中如何套用常见的设计模式来降低设计难度,提高查询效率。

    Edison Zhou
  • 使用 ES6 来为异步函数记录执行时间

    在这篇文章里,我会实现一个可重用的函数来处理 JavaScript 延时异步操作。

    疯狂的技术宅
  • Elastic Meetup2021深圳站回顾

    ? 导语 |  一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天,小伙伴们技术交流的方式也变得多样化。2021年8月21日下午,...

    腾小云
  • 说说MongoDB安全机制 | 人为设置不当,还是数据库不安全?

    MongoDB作为NoSQL数据库的领导者,不仅在数据一致性,性能和扩展性方面提供丰富的功能特性,也在安全性方面提供多种灵活的配置以确保用户数据安全。然而在实际...

    MongoDB中文社区
  • MongoDB command命令处理模块源码实现二

    《MongoDB command命令处理模块源码实现一》中我们分析了一个客户端请求到来后,mognodb服务端大体处理流程如下:

    MongoDB中文社区
  • 干货!万亿级数据库MongoDB集群性能优化实践合辑(上)

    本文来自OPPO文档数据库mongodb负责人杨亚洲老师2020年深圳Qcon全球软件开发大会《专题:现代数据架构》专场、dbaplus专场:万亿级数据库Mon...

    MongoDB中文社区
  • 大数据与云计算技术周报(第140期)

    本文主结合作者近千万级开发实战经验,和大家一起深入探讨一下Elasticsearch 索引设计,历时两周+的时间完成此文,干货满满,避免大家掉坑。

    大数据和云计算技术
  • 使用DDL触发器同步多个数据库结构

    背景:当开发组比较大时,势必会分布到不同的地理位置,若无法在同一个快速网络中工作,就会造成多个开发库并存的局面,这样就需要多个开发库结构的同步,甚至是开发测试数...

    用户1183026
  • mysql主从同步(3)-percona-toolkit工具(数据一致性监测、延迟监控)使用梳理

    在mysql工作中接触最多的就是mysql replication,mysql在复制方面还是会有一些常规问题,比如主库宕机或者从库宕机有可能会导致复制中断,通常...

    洗尽了浮华
  • Elastic 线下 Meetup 深圳站来了!

    Elastic中文社区联合腾讯云大数据,腾讯云+社区,将于2021年8月21日在 腾讯滨海大厦举办本年度首次线下(线上同步直播)技术交流活动。本次活动的交流内...

    腾讯QQ大数据
  • Elastic线下Meetup深圳站来了!

    ? 导语 | Elastic中文社区联合腾讯云大数据,腾讯云+社区,将于2021年8月21日在腾讯滨海大厦举办本年度首次线下(线上同步直播)技术交流活动。本次...

    腾小云

扫码关注云+社区

领取腾讯云代金券