推荐一个开源数据同步神器，支持多种数据源和预警功能！
DBSyncer是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。
支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。
特点：
- 组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系
- 实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志
- 开发插件，自定义转化同步逻辑
设计
架构图
应用场景
连接器 | 数据源 | 目标源 | 支持版本(包含以下) |
|---|---|---|---|
MySQL | ✔ | ✔ | 5.7.19以上 |
Oracle | ✔ | ✔ | 10gR2 -11g |
SqlServer | ✔ | ✔ | 2008以上 |
PostgreSQL | ✔ | ✔ | 9.5.25以上 |
ES | ✔ | ✔ | 6.0以上 |
Kafka | 开发中 | ✔ | 2.10-0.9.0.0以上 |
File | ✔ | ✔ | *.txt, *.unl |
SQL | ✔ | 支持以上关系型数据库 | |
后期计划 | Redis |
使用教程
- 启动 代理 和 数据库 服务
- 准备测试账号，test
- 分配sysadmin角色
- 分配指定数据库权限
PostgreSQL
通过复制流技术监听增量事件，基于内置插件pgoutput、test_decoding实现解析wal日志
1、修改postgresql.conf文件，重启服务
wal_level=logical
2、授予账号权限LOGIN和REPLICATION
File
监听文件修改时间得到变化文件，通过文件偏移量读取最新数据
“https://gitee.com/ghi/dbsyncer/issues/I55EP5
ES
- 定时获取增量数据。
- 账号具有访问权限。
日志
建议MySQL、SqlServer、PostgreSQL都使用日志
定时
假设源表数据格式
预览
驱动管理
驱动详情
驱动表字段关系配置
监控
上传插件
开源地址
https://gitee.com/ghi/dbsyncer
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2023-06-06，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
云数据库 MySQL
腾讯云数据库 MySQL（TencentDB for MySQL）为用户提供安全可靠，性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性，包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL，可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理，不仅经济实惠，而且稳定可靠，易于运维。
腾讯云开发者
