Debezium 是一个分布式平台，它将现有的数据库转换为事件流，应用程序消费事件流，就可以知道数据库中的每一个行级更改，并立即做出响应。
运行Debezium涉及三个主要服务:Zookeeper、Kafka和Debezium的连接器服务。 本教程将指导您使用Docker和Debezium的Docker映像启动这些服务的单个实例。 另一方面，生产环境需要运行每个服务的多个实例，以保证性能、可靠性、复制和容错。 这可以通过OpenShift和Kubernetes这样的平台来实现，该平台可以管理运行在多个主机和机器上的多个Docker容器，但通常需要在专用硬件上安装。
我们数据库中的数据一直在变化，有时候我们希望能监听数据库数据的变化并根据变化做出一些反应，比如更新对应变化数据的缓存、增量同步到其它数据源、对数据进行检测和审计等等。而这种技术就叫变更数据捕获（Change Data Capture）。对于这种技术我们可能知道一个国内比较知名的框架Canal，非常好用！但是Canal有一个局限性就是只能用于Mysql的变更数据捕获。今天来介绍另一种更加强大的分布式CDC框架Debezium。
目前公司离线数仓现状，数仓部门每日凌晨后处理昨天的线上业务数据，因此第二天业务人员才看到的报表，数据是T-1的，因此数据是具有滞后性，尤其在互联网金融公司，有业务人员需要做信贷的风险管控，及时的调整一些风控规则和策略，但是不能立刻看到效果，而是需要等到第二天才可以看到调整的效果，因此才有了实时数仓的需求。线上业务数据基本存储在Mysql和MongoDB数据库中，因此实时数仓会基于这两个工作流实现，本文重点讲述基于MongoDB实现实时数仓的架构。
在创建docker容器时，有时会用到/var/run/docker.sock这样的数据卷参数，例如以下docker-compose.yml，可以看到kafka容器的数据卷参数带有/var/run/docker.sock：
自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分析，并且产生的数据量非常巨大！有效地存储数PB数据并拥有必要的工具来查询它以便使用它至关重要，只有这样对该数据的分析才能产生有意义的结果。
以docker的方式启动debezium。 Start Zookeeper 1 docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:0.8 Start Kafka 1 docker run -it --rm --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka:0
本文将会实现一套完整的Debezium结合Kafka Connect实时捕获MySQL变更事件写入Elasticsearch并实现查询的流程.
Compose和Docker兼容性： Compose 文件格式有3个版本,分别为1, 2.x 和 3.x 目前主流的为 3.x 其支持 docker 1.13.0 及其以上的版本 常用参数： version # 指定 compose 文件的版本 services # 定义所有的 service 信息, services 下面的第一级别的 key 既是一个 service 的名称 build # 指定包含构建上下文的路径, 或作为
进行阅读后，再来阅读本文。本文属于工具使用教程类，主要是讲述如何使用。相关的理论知识上边的文章都有详细论述，这边就不再罗列理论，下边就直接进入实战
目前，我们已经启动了Zookeeper和Kafka，但是还没有数据库服务器，Debezium可以从中捕获变化。现在，让我们使用一个示例数据库启动一个MySQL服务器。 打开一个新的终端，使用它启动一个新的容器，运行一个预先配置了库存数据的MySQL数据库服务器:
docker 在线测试网站： play With Docker，这是一个可以用来在线练习 docker 指令的网站，具备一切 docker 环境，不用为环境而烦恼，网速还特别快
现在有那么的一个需求：一些小伙伴想本地运行一套springcloud的应用。线上的都docker化部署在kubernetes集群中了。应用呢使用了statefulset的方式部署（他想考主机名hostname去在nacos中注册）。然后本地idea开发呢。主机名都是一个。故他觉得跑不了多个应用(有8个应用吧)，最后的结果就是每个人电脑上面都启动了不同的应用去搞.......是不是很反人类？windows本机能跑kubernetes但是我也觉得麻烦啊......怎么搞重新捡起来一下docker compose的使用吧，犹记得上次使用docker compose还是2016年测试跑一个gitlab。从此以后基本就跟docker compose无缘了
审计日志系统有很多应用场景，而不仅仅是存储用于审计目的的数据。除了合规性和安全性的目的之外，它还能够被市场营销团队使用，以便于锁定目标用户，也可以用来生成重要的告警。
Debezium 是一个开源的分布式平台，用于捕获数据库的变更数据（Change Data Capture，CDC）。它支持多种数据库，包括 MySQL。下面我们详细说一下如何进行配置。
当想要对来自事务数据库（如 Postgres 或 MySQL）的数据执行分析时，通常需要通过称为更改数据捕获[4] CDC的过程将此数据引入数据仓库或数据湖等 OLAP 系统。Debezium 是一种流行的工具，它使 CDC 变得简单，其提供了一种通过读取更改日志[5]来捕获数据库中行级更改的方法，通过这种方式 Debezium 可以避免增加数据库上的 CPU 负载，并确保捕获包括删除在内的所有变更。现在 Apache Hudi[6] 提供了 Debezium 源连接器，CDC 引入数据湖比以往任何时候都更容易，因为它具有一些独特的差异化功能[7]。Hudi 可在数据湖上实现高效的更新、合并和删除事务。Hudi 独特地提供了 Merge-On-Read[8] 写入器，与使用 Spark 或 Flink 的典型数据湖写入器相比，该写入器可以显着降低摄取延迟[9]。最后，Apache Hudi 提供增量查询[10]，因此在从数据库中捕获更改后可以在所有后续 ETL 管道中以增量方式处理这些更改下游。
在Koverhoop，我们正在保险，医疗保健，房地产和离线分析领域建立一系列大型项目。对于我们的多租户团体保险经纪平台klient.ca，我们将建立强大的搜索功能。我们希望我们的搜索结果在键入时出现。以下是我们能够实现的目标，在本文中，我将讨论核心基础架构，我们如何完全自动化其部署以及如何也可以非常快速地对其进行设置。
关于mongodb数据实时同步，如果只是做数据备份的话，直接搭建一个replica set集群或者shard集群就可以实现目的了。但这样的话作为备份库的节点都是secondery，你没法往备份库上写数据上去。
Flink实时消费业务数据Demo Debezium监控MySQL用FlinkSQL实时消费 1、环境准备 ## 各组件版本 MySQL：5.7.21-log ## 开启binlog kafka_2.11-2.4.1 ## Kafka Flink:1.12.0 ## Flink_1.12.0官方推荐使用Kafka_2.4.1 Zookeeper:3.4.6 ## 所需组件下载地址 ## kafka_2.11-2.4.1.tgz 链接：https://pan.baidu.com/s/1-YUvHj8B10VG
Mysql 作为传统的关系型数据库，主要面向 OLTP，性能优异，支持事务，但是在一些全文检索，复杂查询上面并不快。Elasticsearch 底层基于 Lucense 实现，天然分布式，采用倒排索引存储数据，全文检索效率很高，使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。
在研究 Flink CDC 时，其中涉及了 Debezium，便决定研究一下 Debezium。这篇文章简单介绍了 Debezium 是什么，以及它的架构和特性。后续文章中会后续介绍其功能特性以及如何使用。
数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。本文把市面上常见的几种开源产品，Canal、Debezium、Flink CDC 从原理和适用做了对比，供大家参考。
实时数仓的第一步便是变更数据捕获（CDC）,Debezium就是一款功能非常强大的CDC工具。Debezium是构建于Kafka之上的，将捕获的数据实时的采集到Kafka上
如果你的后端应用数据存储使用的MySQL，项目中如果有这样的业务场景你会怎么做呢？
安装 本次安装使用docker镜像，安装无障碍，一行命令即可解决 # 安装镜像并启动 可以自行修改命令中的参数 ## 账户 tanoak 密码 123123 ## -p 27018:27017 映射端口，并开启远程访问 docker run -p 27018:27017 -d --name my-mongo -e MONGO_INITDB_ROOT_USERNAME=tanoak -e MONGO_INITDB_ROOT_PASSWORD=123123 mongo:latest # 进入doceker
Debezium是一个分布式平台，它将您现有的数据库转换为事件流，因此应用程序可以看到数据库中的每一个行级更改并立即做出响应。Debezium构建在Apache Kafka之上，并提供Kafka连接兼容的连接器来监视特定的数据库管理系统。Debezium在Kafka日志中记录数据更改的历史，您的应用程序将从这里使用它们。这使您的应用程序能够轻松、正确、完整地使用所有事件。即使您的应用程序停止(或崩溃)，在重新启动时，它将开始消耗它停止的事件，因此它不会错过任何东西。
MySQL Binary Log包含了针对数据库执行DDL(Data Definition Language)和DML(Data Manipulation Language)操作的完整事件，其被广泛应用于数据复制和数据恢复场景。本文所分享的就是一种基于MySQL Binary Log特性实现增量数据近实时同步到Elasticsearch的一种技术。要想实现增量数据的同步，仅仅有binary log是不够的，我们还需要一款变更数据捕获(CDC，Change Data Capture)工具，可能大家很快就会想到阿里巴巴开源的Canal。没错，但本文今天给大家分享一款新的开源工具：Debezium。Debezium构建于Kafka之上，它为MySQL、MongoDB、PostgreSQL、Orcale和Cassandra等一众数据库量身打造了一套完全适配于Kafka Connect的source connector。首先，source connector会实时获取由INSERT、UPDATE和DELETE操作所触发的数据变更事件；然后，将其发送到Kafka topic中；最后，我们使用sink connector将topic中的数据变更事件同步到Elasticsearch中去，从而最终实现数据的近实时流转，如下图所示。
docker run -d --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等) Kafka在生产环境下使用通常是集群化部署的，同时也要依赖ZooKeeper集群，这对开发测试环境来说比较重，不过我们可以通过Docker便捷Kafka单机的方式，节省部署时间以及机器资源
客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当地交通与美食预订服务。覆盖全球100个国家及地区，支持12种语言和41种货币的支付系统,与超过10000家商户合作伙伴紧密合作，为全球旅行者提供10万多种旅行体验预订服务。KLOOK数仓RDS数据同步是一个很典型的互联网电商公司数仓接入层的需求。对于公司数仓，约60%以上的数据直接来源与业务数据库，数据库有很大一部分为托管的AWS RDS-MYSQL 数据库，有超100+数据库/实例。RDS直接通过来的数据通过标准化清洗即作为数仓的ODS层，公司之前使用第三方商业工具进行同步，限制为每隔8小时的数据同步，无法满足公司业务对数据时效性的要求，数据团队在进行调研及一系列poc验证后，最后我们选择Debezium+Kafka+Flink+Hudi的ods层pipeline方案，数据秒级入湖，后续数仓可基于近实时的ODS层做更多的业务场景需求。
宜信容器云是一套基于kubernetes的容器管理平台。业务线用户在容器云上部署应用程序时，常常会遇到容器无法启动或者应用程序运行不正常的情况。为了方便用户排查在应用上云过程中的问题，我们在web端集成了一系列的排错方式，如下图：
随着系统变得越来越复杂，我们需要更多的解决方案来集中维护大量数据，以便对其进行监控和查询，而又不会干扰运营数据库。在Yotpo，我们有许多微服务和数据库，因此将数据传输到集中式数据湖中的需求至关重要。我们一直在寻找易于使用的基础架构（仅需配置），以节省工程师的时间。
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
Docker-Compose 项目是 Docker 官方的一个开源项目，其主要职责是负责实现对Docker容器集群的快速编排。 Docker-Compose 将所管理的容器分为三层，分别是工程（project）、服务（service）以及容器（container）。Docker-Compose 运行目录下的所有文件（docker-compose.yml，extends 文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像，参数，依赖。一个服务当中可包括多个容器实例，Docker-Compose 并没有解决负载均衡的问题，因此需要借助其它工具实现服务发现及负载均衡。 Docker-Compose 的工程配置文件默认为 docker-compose.yml，可通过环境变量 COMPOSE_FILE 或 -f 参数自定义配置文件，其定义了多个有依赖关系的服务及每个服务运行的容器。使用一个 Dockerfile 模板文件，可以让用户很方便的定义一个单独的应用容器。在工作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个 Web 项目，除了 Web 服务容器本身，往往还需要再加上后端的数据库服务容器，甚至还包括负载均衡容器等。 同时，Docker-Compose 允许用户通过一个单独的 docker-compose.yml 模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）。Docker-Compose 项目由 Python 编写，调用 Docker 服务提供的 API 来对容器进行管理。因此，只要所操作的平台支持 Docker API，就可以在其上利用 Compose 来进行编排管理。
虚拟化软件推荐 VM https://www.cnblogs.com/PrayzzZ/p/11330937.html VirtualBOX
Docker-Compose项目是Docker官方的一个开源项目，其主要职责是负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层，分别是工程（project）、服务（service）以及容器（container）。Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像，参数，依赖。一个服务当中可包括多个容器实例，Docker-Compose并没有解决负载均衡的问题，因此需要借助其它工具实现服务发现及负载均衡。 Docker-Compose的工程配置文件默认为docker-compose.yml，可通过环境变量COMPOSE_FILE或-f参数自定义配置文件，其定义了多个有依赖关系的服务及每个服务运行的容器。使用一个Dockerfile模板文件，可以让用户很方便的定义一个单独的应用容器。在工作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个Web项目，除了Web服务容器本身，往往还需要再加上后端的数据库服务容器，甚至还包括负载均衡容器等。 同时，Docker-Compose允许用户通过一个单独的docker-compose.yml模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）。Docker-Compose项目由Python编写，调用Docker服务提供的API来对容器进行管理。因此，只要所操作的平台支持Docker API，就可以在其上利用Compose来进行编排管理。
在当前微服务横行, 研发提速的大环境下, 除了单测对单个方法的逻辑做验证外, 在本机环境能正常运行, 减少三方环境的依赖也是提效的一个重要环节.
可以使用腾讯云服务器 https://cloud.tencent.com/product/cvm ，相对来讲比较便宜。
jdk-8u221 链接：https://pan.baidu.com/s/1uhrtDj-pG3BsTq8tMiZAlg 提取码：26k2
为了实现分库分表前期的安全操作, 希望分表的数据还是能够暂时合并到原表中, 使用基于kafka connect实现, debezium做connect source, kafka-jdbc-connector-sink做sink.
1、kafka需要zookeeper管理，所以需要先安装zookeeper。 （PS：2.8版本以后kafka-Kraft 模式不再依赖zk，目前别的很多组件都依赖zk注册，所以还是以zk举例）
在本次实验中，您将使用 Cloudera SQL Stream Builder来捕获和处理来自外部数据库中活动的更改。
本篇演示安装配置 Kafka connect 插件实现 MySQL 到 Hbase 的实时数据同步。依赖环境见本专栏前面文章。相关软件版本如下：
Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目，它是基于 dotCloud 公司多年云服务技术的一次革新，并于 2013 年 3 月以 Apache 2.0 授权协议开源。
今天在某云上新购一台云服务器，发现已经有了 CentOS8.2 官方镜像可选，出于对新鲜事物的好奇，我决定开始采用 CentOS8.2，即使我还没有为它的新特性做好准备。
除了命令行选项之外，配置还可以放入文件中。在某些情况下，这可能更容易，例如使用配置管理系统配置Consul时。
需要明白的是 工作负载（workload）指的是Deployment、StatefulSet、DaemonSet、CronJob、Job。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
