smartsi - 个人中心 - 腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

smartsi

LV1

全部文章

Kafka Connect JDBC Source MySQL 增量同步
上一篇文章 Kafka Connect JDBC Source MySQL 全量同步中，我们只是将整个表数据导入 Kafka。这对于获取数据快照很有用，但并不...
smartsi 13天前2025-08-22 14:29:20
网站、kafka、unix、jdbc
Debezium 初了解
在研究 Flink CDC 时，其中涉及了 Debezium，便决定研究一下 Debezium。这篇文章简单介绍了 Debezium 是什么，以及它的架构和特性...
smartsi 14天前2025-08-21 14:44:34
kafka、apache、数据库、sql、云数据库 SQL Server
Hadoop中的Secondary Sort
我们首先提出了一个查询问题，为了解决这个问题，需要在数据集的多个字段上进行排序。然后，我们将研究 MapReduce Shuff 阶段的工作原理，然后再实现我们...
smartsi 2025-07-242025-07-24 15:43:33
mapreduce
DataX 快速入门
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构...
smartsi 2022-05-012022-05-01 14:25:21
python
Flink DataStream 类型系统 TypeInformation
Flink DataStream 应用程序所处理的事件以数据对象的形式存在。函数调用时会传入数据对象，同时也可以输出数据对象。因此，Flink 在内部需要能够处...
smartsi 2022-04-232022-04-23 13:35:12
flink、大数据、文件存储、java、scala
Flink Table API & SQL 基本操作
本文主要展示了 Table API 和 SQL 程序的常见结构，如何创建注册 Table，查询 Table，以及如何输出 Table。
smartsi 2022-04-172022-04-17 11:02:30
sql、api、github、git、开源
Apache SeaTunnel 分布式数据集成平台
随着互联网流量爆发式增长，越来越多的公司业务需要支撑海量数据存储，对高并发、高可用、高可扩展性等特性提出了更高的要求，这促使各种类型的数据库快速发展，至今常见数...
smartsi 2022-04-012022-04-01 10:49:24
apache、spark、flink、数据分析、数据库
Flink SourceFunction 初了解
SourceFunction 是 Flink 中所有流数据 Source 的基本接口。SourceFunction 接口继承了 Function 接口，并在内部...
smartsi 2022-03-082022-03-08 12:48:31
unix、flink、编程算法、大数据、文件存储
State Processor API：如何读写和修改 Flink 应用程序的状态
无论是在生产环境中运行 Apache Flink 还是在调研 Apache Flink，总会遇到一个问题：如何读写以及更新 Flink Savepoint 中的...
smartsi 2022-03-072022-03-07 16:07:31
api、flink、大数据、编程算法、windows
Flink State TTL 详解
在某些场景下 Flink 用户状态一直在无限增长，一些用例需要能够自动清理旧的状态。例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP...
smartsi 2022-03-022022-03-02 08:58:03
unix、flink、大数据、文件存储
Flink SQL Kafka Connector
Kafka Connector 提供了从 Kafka topic 中消费和写入数据的能力。
smartsi 2022-02-222022-02-22 17:48:26
kafka、node.js、文件存储、编程算法、flink
Debezium 1.9.0.Alpha2 正式发布
我很高兴宣布 Debezium 1.9 系列的第二个版本，1.9.0.Alpha2 正式发布。此版本包含了对 Oracle 21c 的支持、围绕 Redis f...
smartsi 2022-02-222022-02-22 17:44:24
oracle、云数据库 Redis®、kafka、编程算法
Flink 1.13 StateBackend 与 CheckpointStorage 拆分
Apache Flink 的持久化对许多用户来说都是一个谜。用户最常见反复提问的问题就是不理解 State、StateBackend 以及快照之间的关系。通过学...
smartsi 2022-02-222022-02-22 17:41:09
flink、大数据、存储、文件存储、api
Debezium 1.9.0.Alpha1 正式发布
我很高兴宣布 Debezium 1.9 系列的第一个版本 1.9.0.Alpha1 正式发布。这是新的一年来的第一个新版本！Debezium 1.9.0.Alp...
smartsi 2022-02-042022-02-04 15:28:32
oracle、编程算法
对流处理的误解
我们花了很多时间来思考流处理。更酷的是：我们也花了很多时间帮助其他人思考流处理以及如何使用流应用解决他们的数据问题。这个过程的第一步是纠正对现代流处理的误解（作...
smartsi 2022-02-042022-02-04 15:27:36
flink、大数据、windows、数据处理、apache
BookKeeper 简介
Apache BookKeeper 是企业级存储系统，旨在提供强大的持久性保证、一致性和低延迟。最初是由雅虎研究院（Yahoo! Research）开发，作为 ...
smartsi 2022-02-042022-02-04 15:26:49
api、存储、apache、zookeeper
Streaming 102:批处理之外的流式世界第二部分
欢迎回来！如果你错过了我之前的博文：Streaming 101:批处理之外的流式世界第一部分，我强烈建议你先花时间阅读这篇文章。在这篇文章介绍的内容是下面介绍内...
smartsi 2022-01-312022-01-31 14:44:16
windows、数据处理、编程算法
Streaming 101:批处理之外的流式世界第一部分
尽管这些业务需求驱动了流式处理的发展，但与批处理相比，现有的流式处理系统仍然相对不成熟，这使得该领域最近产生了许多令人兴奋的发展。在本篇文章将会介绍一些基本的背...
smartsi 2022-01-252022-01-25 13:50:16
windows、编程算法、数据处理、分布式、serverless
Flink 如何现实新的流处理应用第一部分:事件时间与无序处理
流数据处理正处于蓬勃发展中，可以提供更实时的数据以实现更好的数据洞察，同时从数据中进行分析的流程更加简化。在现实世界中数据生产是一个连续不断的过程(例如，Web...
smartsi 2022-01-182022-01-18 14:28:52
flink、大数据、数据处理、unix、编程算法
Kafka 删除 Apache ZooKeeper 的依赖
目前，Apache Kafka 使用 Apache ZooKeeper 来存储元数据，分区位置和主题配置之类的数据存储在 Kafka 之外一个单独的 ZooKe...
smartsi 2022-01-182022-01-18 14:28:11
kafka、zookeeper、tcp/ip、raft、存储

12 3 4 5 6 7 8...14 下一页

个人简介

暂未填写公司和职称
个人博客：http://smartsi.club/
暂未填写技能专长
暂未填写学校和专业
http://smartsi.club/
暂未填写所在城市
加入社区时间：2017-12-27

个人成就

获得 765 次赞同
文章被阅读 678.1K 次

关注了：1关注者：86