企业版Tapdata

企业版Tapdata试用

项目背景

如果公司使用有一个多版本的项目，由于特殊需求，数据库必须放在他们本地，但是公司又需要汇总整个的数据做数据分析，这样就要实时更新每一服务器上的数据库来保证他们的数据为最新的并且要提取他们数据到总部来做数据分析。以前在这上面浪费大量的人力物力，贵公司出一款实时同步数据以及占用资源低，并且支持多个数据库互相同步的的解决方案。所以满心欢喜的来试用本产品。

产品介绍

体验感受

1.界面友好，全部可视化操作，并且支持在线拖拽操作。 2.数据传输功能包括：数据库迁移，数据同步，数据校验。

同步方式

全量迁移，然后紧接着增量迁移 仅增量同步，从指定时间点开始 仅增量同步，从当前时间开始

以下是各个数据库的采集增量数据的方式

Oracle: 通过LogMiner 对redo log/archive log解析数据库日志 SQLServer: 通过SQLServer自带的触发器方式获取数据库事件 MySQL: 通过解析binlog方式来获取数据库事件 MongoDB: 通过解析Oplog方式来获取数据库事件 DB2: 通过解析DB2日志来获取数据库事件 PostgreSQL: 通过解析日志方式来获取数据库事件

数据校验

Tapdata 的校验数据类型包含以下： 行数校验 哈希校验 高级校验（自定义）

容错机制

在自动化操作出现问题后，能否确保任务继续执行以及执行的结果好坏是判断容错机制的主要条件。

各功能使用情况

数据源

1.创建数据源 这里面我连接的是映射到外网的服务器，本地的数据源没连接上。这里面遇到的坑为连接测试必须全部通过才能使用，基本里面会遇到最后两项不通过，第一个需要打开binlog，第二是需要此用户对数据库有最高权限，就是root权限，由于我打开，这里直接贴上打开binlog教程的链接binlog教程

在这里插入图片描述

测试通过

添加成功

数据传输

数据库迁移

数据源与目标源

选择要复制的数据库

启动并查询运行结果

数据统计

可以导出迁移的数据库文件

json格式数据

数据同步

选择要同步的表格目标数据源

启动并查询结果

同步表成功

这样数据库表格就通过id同步完成

数据校验

新建校验

校验结果

使用体会

1.这里面创建数据源时会遇到权限以及打开binlog的坑，希望其他小伙伴能够避免 2.整体走下来有时候遇到创建错误以及东西创建完不显示问题，多刷新几遍有时候可以显示，有的需要重新创建 3.整体速度以及服务都非常迅速，可以满足大部分企业的要求 4.希望官网文档能够写的再清楚点，避免小伙伴踩太多的坑

场景

1.这里我使用的场景是我模拟客户本地数据库文件同步到本地的操作，以便公司进行数据的分析以及为大数据做基础。 2.还有就是我更新某一张表格打用户数据库的操作，这样就解决了如果是后台的字典数据表的更新，就不需要客户去维护，然后直接更新表格到客户服务器。 3.正常的对客户数据库进行维护，检验客户数据库表字段和本地数据库表字段是否一致，这里面还可以进行高级检验，可以检验某些字段时候一致。