如何对MySQL数据库中的数据进行实时同步

通过阿里云数据传输,并使用 dts-ads-writer 插件, 可以将您在阿里云的云数据库RDS for MySQL中数据表的变更实时同步到分析型数据库中对应的实时写入表中(RDS端目前暂时仅支持MySQL引擎)。

前提条件

您需要在您RDS for MySQL所在的云账号下开通阿里云数据传输服务。并 点击此处 下载dts-ads-writer插件到您的一台服务器上并解压(需要该服务器可以访问互联网,建议使用阿里云ECS以最大限度保障可用性)。服务器上需要有Java 6或以上的运行环境(JRE/JDK)。

操作步骤

1. 在分析型数据库上创建目标表,数据更新类型为实时写入,字段名称和MySQL中的建议均相同; 2. 在阿里云数据传输的控制台上创建数据订阅通道,并记录这个通道的ID; 3. 配置dts-ads-writer/app.conf文件,配置方式如下:所有配置均保存在app.conf中,运行前请保证配置正确;修改配置后,请重启writer 基本配置:

tables节点的配置示例, 表示rds_db库下的rds_table表对应ads_table表,并且rds_table表的col1列对应ads_table表的col1_ads列, rds_table表的col2列对应ads_table表的col2_ads列

注意事项 1)RDS for MySQL表和分析型数据库中表的主键定义必须完全一致;如果不一致会出现数据不一致问题。如果需要调整RDS/分析型数据库表的主键,建议先停止writer进程; 2)一个插件进程中分析型数据库db只能是一个,由adsJdbcUrl指定; 3)一个插件进程只能对应一个数据订阅通道;如果更新通道中的订阅对象时,需要重启进程 4)RDS for MySQL中DDL操作不做同步处理; 5)更新app.conf需要重启插件进程才能生效; 6)如果工具出现bug或某种其它原因需要重新同步历史数据,只能回溯最近24小时的数据(在阿里云数据传输的控制台中修改消费位点); 7)插件的最大同步性能与运行插件的服务器的互联网带宽和磁盘IOPS成正比。

4. 运行dts-ads-writer/bin/startup.sh(sh bin/startup.sh); 5. 配置监控程序监控进程存活和日志中的常见错误码。 logs目录下的日志中的异常信息均以ErrorCode=XXXX ErrorMessage=XXXX形式给出,可以进行监控,具体如下:

原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2016-07-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据智能实战

HBase暴力删除HDFS数据后建表出现Table already exist问题的解决

在一些情况下,不得不对HBase数据进行暴力删除,这种情况如原始数据量特别大,而又不需要存储的时候。或者HBase无法启动等问题。 删除比较简单,直接调用had...

21550
来自专栏运维技术迷

centos7下卸载python后yum不能使用的恢复方法

手贱!本来是想把python2.7重新安装一下,结果直接remove了。然后使用yum install python的时候发现已经command not fou...

47660
来自专栏小文博客

VUTLR定时创建快照(Take Snapshot)备份服务器

38950
来自专栏北京马哥教育

MySQL主从复制架构及原理

一、简介 在实际生产中,数据的重要性不言而喻,因此考虑到数据的重要性比如单点故障导致后端数据库奔溃,或者后端数据库访问压力过大等,mysql数据库做主从非常有必...

39340
来自专栏散尽浮华

Redis主从复制下的工作原理梳理

Redis主从复制的配置十分简单,它可以使从服务器是主服务器的完全拷贝。需要清除Redis主从复制的几点重要内容: 1)Redis使用异步复制。但从Redis ...

40380
来自专栏LanceToBigData

MySQL集群(三)mysql-proxy搭建负载均衡与读写分离

前言 前面学习了主从复制和主主复制,接下来给大家分享一下怎么去使用mysql-proxy这个插件去配置MySQL集群中的负载均衡以及读写分离。 注意:这里比较坑...

48290
来自专栏运维小白

12.3/12.4 PHP安装

PHP安装目录概要 和LAMP安装PHP方法有差别,需要开启php-fpm服务 cd /usr/local/src/ wget http://cn2.php.n...

34780
来自专栏Ken的杂谈

为克隆后的CentOS虚拟机设置静态IP

CentOS虚拟机克隆后,由于网卡MAC地址等信息跟被克隆的系统一致,但是克隆后的虚拟机网卡其实已经变了,所以CentOS不会采用原来的网卡配置文件。所以克隆后...

50420
来自专栏开源优测

AutoLine开源平台安装部署教程

github地址:https://github.com/small99/AutoLine

12920
来自专栏流柯技术学院

CentOS7下使用yum安装MariaDB

从CentOS 7开始,使用 MariaDB 替代默认的 MySQL。MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许...

33050

扫码关注云+社区

领取腾讯云代金券