浪浪山下那个村-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

浪浪山下那个村

应无所住，而生其心。 --《金刚经》吾生也有涯，而知也无涯。 --《庄子》

专栏成员

143

文章

107675

阅读量

21

订阅数

Flink数据倾斜理解

flink 大数据 kafka sql

数据倾斜就是数据的分布严重不均，流入部分算子的数据明显多余其他算子，造成这部分算子压力过大。

2023-01-16

1.4K0

Redis知识思维导图总结

云数据库 Redis 消息队列 CMQ 版 kafka 编程算法 socket编程

Redis基础知识总结思维导图，系统的学习Redis。不定时更新。主要包括：基本数据和应用场景常见问题分析性能优化持久化集群模式子模块基本知识基本数据类型和使用场景基本数据类型 string 二进制安全，可以包含任何数据,一个键最大能存储512M hash 键值对集合，存储、读取、修改用户属性 list 链表(双向链表),可用于最新消息排行等功能(比如朋友圈的时间线)和消息队列 set 哈希表实现,元素不重复。可用于利用唯一性,统计访问网站的所有独立ip和好友推荐时

2022-08-26

4040

自定义Data Sink

flink 大数据云数据库 SQL Server kafka java

上一篇文章介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。

2022-06-17

2880

Flink 写入数据到 Kafka

kafka flink 大数据

通过Flink官网可以看到Flink里面就默认支持了不少sink，比如也支持Kafka sink connector（FlinkKafkaProducer），那么这篇文章我们就来看看如何将数据写入到Kafka。

2022-06-17

1.8K0

Kafka API操作实践

api kafka 编程算法 node.js javascript

Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。

2022-06-17

5420

Data Sink 介绍

flink 大数据 kafka nosql Elasticsearch Service

如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方。（可以是 MySQL、ElasticSearch、Kafka、Cassandra 等）。这里我说下自己目前做告警这块就是把 Compute 计算后的结果 Sink 直接告警出来了（发送告警消息到钉钉群、邮件、短信等），这个 sink 的意思也不一定非得说成要把数据存储到某个地方去。其实官网用的 Connector 来形容要去的地方更合适，这个 Connector 可以有 MySQL、ElasticSearch、Kafka、Cassandra RabbitMQ 等。

2022-06-17

1.1K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态