前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >全面提升数据库日志处理效率,EventBridge 支持 DTS 数据订阅功能正式发布

全面提升数据库日志处理效率,EventBridge 支持 DTS 数据订阅功能正式发布

作者头像
腾讯云serverless团队
发布2022-04-14 15:40:10
1.4K0
发布2022-04-14 15:40:10
举报

背景和价值

在实际业务中常常遇到需要从数据库中获取关键业务的数据变化信息,并将这些信息同步到下游业务进行订阅、获取和消费的场景。

如何快速搭建该实时处理链路,往往有一定的开发成本,同时由于业务要求,不同的下游也依赖不同处理逻辑,难以有一套通用的可复制方案。

目前,事件总线 EventBridge 已正式支持 DTS 数据订阅功能,腾讯云的 DTS 数据传输服务不仅解决上游数据库数据流出的问题,并且支持 MySQL、MariaDB、TDSQL 等多种关系型数据库数据订阅,方便用户搭建云数据库、完成异构系统之间的数据同步。

用户通过配置 DTS 连接器,基于 DTS 数据订阅实时拉取源实例的 Binlog 增量日志,完成业务数据变化的消费与处理,同时可以实现下游不同目标的分发,快速完成数据处理链路的搭建,如缓存更新,ETL 实时同步,业务异步解耦等。

功能优势

  • 低代码: 全部流程配置化,仅需几步配置即可完成数据订阅完整链路搭建,无需自行开发 consumer,降低开发配置门槛。
  • 多目标: 下游支持计算、存储、消息队列等不同类型目标源,可根据实际业务需求,完成从数据库到指定目标的投递。
  • 高性能: 支持批量投递,支持多目标分发,内部集成数据过滤、格式转换等能力,降低数据同步链路延迟,提升处理效率。

业务场景

1. 数据转投

完成数据库变更数据到下游目标的实时同步,如 Mysql --> Kafka, Mysql --> ES,Pgsql --> ES/COS 等场景

2. 数据处理

下游支持直接触发 SCF 云函数,进行业务变更事件的清洗、脱敏等实时计算处理

3. 多目标分发

同一个 EB 支持配置不同投递目标,可以根据实际业务情况,将事件筛选过滤后投递到指定下游,例如可以将全量 DDL、DML 操作到 ES 存储的同时,筛选 DML 操作发送到 SCF 进行处理,均可在一个 EB 服务内进行.

配置流程

1、登陆 DTS 控制台 :https://console.cloud.tencent.com/dts/dss,完成数据订阅实例创建。

2、进入 EventBridge 控制台:https://console.cloud.tencent.com/eb,选择指定事件集,进入事件集详情页,在「连接器」部分添加 DTS 数据订阅连接器。

3、为该事件集绑定事件规则,指定过滤条件和投递目标,完成链路配置。

4、配置完成后,即可完成数据库事件到下游指定目标的实时同步。

详细操作可参考官网文档:https://cloud.tencent.com/document/product/1359/72306

欢迎扫描下方二维码,免费咨询解决方案

  • 云函数 SCF :https://cloud.tencent.com/product/scf?from=15939
  • 事件总线 EventBridge :https://cloud.tencent.com/product/eb?from=15940

如您对产品有任何疑问 🤔️ 或建议📃 ,欢迎下方留言交流。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-04-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 ServerlessCloudNative 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 背景和价值
  • 功能优势
  • 业务场景
    • 1. 数据转投
      • 2. 数据处理
        • 3. 多目标分发
        • 配置流程
        相关产品与服务
        云函数
        云函数(Serverless Cloud Function,SCF)是腾讯云为企业和开发者们提供的无服务器执行环境,帮助您在无需购买和管理服务器的情况下运行代码。您只需使用平台支持的语言编写核心代码并设置代码运行的条件,即可在腾讯云基础设施上弹性、安全地运行代码。云函数是实时文件处理和数据处理等场景下理想的计算平台。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档