产品KOL

大数据之路

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

在上一篇 使用 Flume 封装 Debezium 采集 MySQL 文章中，我们结合 Flume Source 实现了配置化的 Debezium 采集程序。那么，如何实现配置化、部署？到底是否可以简化我们的工作，体现在哪里？这是大家更为关心的问题。所以本篇文章就通过实际操作来解答这些问题。

系列终章：Flume 部署 DebeziumMySQLSource 云服务器实战总结

在写了一系列的 Debezium 的文章之后，其实最后还是要落地到生产系统中去。那么，我们如何去设计一个能够便于快速部署和开发的方案。这就让我想到了 Flume，我们将 Debezium 与 Flume 结合，每次当我们采集一个表的的时候，我们就创建一个配置文件，然后通过命令启动一个相应的进程，这样就能通过配置化快速实现多表采集的工作。

生产级 CDC 方案：使用 Flume 封装 Debezium 采集 MySQL

在上一篇Javassist 自动化生成实体类：让 Debezium 数据解析更高效 文章中，我们通过 javassist 来实现自动创建实体类，但是当我想要将创建的 RowData 类放入到 DebeziumEvent 的时候，才想起来我们没有改变运行中的类。

JDK17 反射失效？用这招搞定  JSON 动态类加载和解析

在之前的一篇二十行代码！我用Spark实现了电影推荐算法文章中，写了如何使用spark的ALS，去做一个电影推荐模型，其中使用的电影评分数据是1000多条Spark的样例数据。在文章的末尾我也提到，如果想要做一个电影推荐系统，除了电影推荐模型数据，同时也要创建一个前后端的展示系统，在数据库中将电影ID与电影名称或者电影类型对应起来，这样才能实现一个完整的推荐系统展示。

从零开发，如何基于 Spark 构建一个电影推荐系统

在上一篇Debezium CDC 数据写入 Kafka，为什么需要单分区 文章中，我们将 debezium 采集到的 json 数据实时写入到了 Kafka 中，这样就实现了采集到存储的整个流程。在之前开发的采集程序中，我们只是对一个表进行了解析，这个表中的字段都包含在了采集数据中。

Javassist 自动化生成实体类：让 Debezium 数据解析更高效

在上一篇Debezium 实战：使用 Gson 解析 CDC 变更数据 文章中，我们对 debezium 采集到的 json 数据进行解析，通过对三种操作类型的分析，了解到了数据的结构和含义。那么，本篇文章就是对数据进一步的处理，然后写入到我们之前搭建的 Kafka 中。

Debezium CDC 数据写入 Kafka，为什么需要单分区...

在上一篇MySQL CDC 实战：Debezium 变更数据格式详解 文章中，探究了一番 debezium 采集到的变更数据格式。在原始格式的基础上，我们可以只去其中的部分有效字段，构建成一个新的 json 数据写入到 Kafka 中。

Debezium 实战：使用 Gson 解析 CDC 变更数据

在上一篇Debezium 踩坑实录：我在MySQL CDC 遇到的3个问题. 文章中，讲述了我在 debezium 程序中遇到的问题和解决方法，本篇文章就按照主线任务继续往下走，来研究一下如何处理捕获的变更数据。

MySQL CDC 实战：Debezium 变更数据格式详解

在上一篇Debezium 实战：几行代码，实现 MySQL CDC 数据采集 文章中，我通过 debezium 实现了本地 MySQL 数据的采集，虽然整个过程看起来很顺利，实则也是遇到了很多问题，今天这篇文章就来列举一下，我在采集过程中遇到的问题和最终解决方案。

Debezium 踩坑实录：我在MySQL CDC 遇到的3个问题...

在上一篇零帧起手，Debezium 实现 MySQL CDC 有多简单 文章中，我通过 debezium 的官方文档学习了如何配置一个 engine 和 MySQL connector，来实现一个最简单的 cdc 采集程序，那本篇文章主要是理论实践，从代码实现入手，完成本地 MySQL 采集的流程开发。

Debezium 实战：几行代码，实现 MySQL CDC 数据采集

在完成了开启 MySQL 的 binlog 日志、Kafka 的搭建这些准备工作之后，我们终于可以来接着 Debezium 采集接下来的工作。首先要明确的是，debezium 支持多种模式的 MySQL，例如主从复制、高可用集群、多主模式等。我这里使用的是单点模式，是最简单模式的 MySQL。

零帧起手，Debezium 实现 MySQL CDC 有多简单...

我在上一篇文章研究 Debezium 采集 MySQL 的时候，使用 docker 搭建单点 Kafka 遇到了一点问题，可能是因为之前生产上用的是版本很老的 Kafka，依赖的都是 Zookeeper。 所以在面对 kRaft 的时候，显得我略微生疏，换句话说就是根本没有了解过，所以今天就来学习一下 Kafka 的 KRaft 模式。

搭建 KRaft 模式的 Kafka 集群，看这一篇就够了.....

最近还没摸鱼几天呢，领导又给安排任务了，让我研究一下 Debezium 做一下数据库的 CDC 采集。Debezium？第一个念头就是好熟悉的名字，这不是两年前陪着研发交付 cdc 项目的时候，flink cdc 使用的底层技术吗，怎么回事，研发跑路了，开始让我来顶？

MySQL Binlog 实时同步 Kafka：Debezium 实战笔记

在最早接触大数据开发的实时流处理开发的时候，是使用的 SparkStreaming，那时候还不知道有flink，所以 SparkStreaming 就是碾压 Storm 的存在。在刚开始的工作的那会儿，也经历了Spark的架构调整，由 Standalone 集群模式，切换到了 On Yarn 模式。

SparkStreaming 广播变量 + 懒加载：搞定 KafkaProducer 不可序列化问题

最近热衷于找一些好玩的MCP，集成在cursor中，给大模型外挂许多有趣的功能，例如：cursor 如何调用 MCP server 实现天气查询，今天的 MCP Server 是关于github的，通过github mcp server，我们可以在大模型中链接github，并实现很多常见的操作。

MCP实战 | cursor 如何一句话操作 gitHub 代码库

很久之前，就有人问我如何做一个基于大数据技术的xx推荐系统。当时对于这个问题，着实难倒我了，因为当时只是知道一个协同过滤，其他的也没有过于深度研究。

二十行代码！我用Spark实现了电影推荐算法

最近写了一篇关于redis的不同架构的文章：Redis：告诉我怎么顶住2000万QPS的压力，主要讲的是在日常开发中，通过哪些优化手段，来提升与redis的交互效率。

3000字 | 一文讲透redis在大数据开发中的应用场景

在多年的SparkStreaming的大数据流处理开发中，除了Kafka，Redis是用的最多的组件。目前生产有多个redis集群，最大的32节点的codis集群的key已经达到40亿个，峰值2000万的QPS。

Redis：告诉我怎么顶住2000万QPS的压力

在多年的学习路上，也掌握了几门比较常见的语言，例如Java、Python以及前端Vue生态中包含的语言。很多时候，各种语言相似功能的框架都会被放在一起比较，来评判语言本身的优劣。

大数据开发语言scala：源于Java，隐式转换秒杀Java

在上一篇告别Zookeeper，两条命令容器化搭建Kafka跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当我在笔记本上使用Spark尝试连接的时候，无法消费到数据。

一条指令，解决外网无法访问云服务器Kafka容器问题

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了大数据之路专栏，为你提供了大数据之路的相关文章，致力于帮助开发者快速成长与发展。

大数据之路

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐