大数据进阶-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据进阶

专栏成员

95

文章

144263

阅读量

19

订阅数

当有多个应用程序都需要从Kafka获取消息时，让每个app对应一个消费者组，从而使每个应用程序都能获取一个或多个Topic的全部消息；在每个消费者组中，往消费者组中添加消费者来伸缩读取能力和处理能力，消费者组中的每个消费者只处理每个Topic的一部分的消息，每个消费者对应一个线程。

2022-01-20

9500

kafka架构和常见术语

Kafka是一个分布式系统，易于向外扩展。它同时为发布和订阅提供高吞吐量。它支持多订阅者，当失败时能自动平衡消费者。消息的持久化。

2022-01-05

3830

spark submit读写hudi

hive kafka hadoop spark javascript

数据导入：cat batch_1.json | kafkacat -b localhost:9092 -t stock_ticks -P

2021-09-10

1.2K0

kafka docker搭建

kafka zookeeper 容器镜像服务容器 tcp/ip

kafka-topics.sh --create --topic test \ --zookeeper zookeeper:2181 --replication-factor 1 \ --partitions 1

2021-07-27

5040

数据湖消息队列 CMQ 版 kafka 数据库 sql

>消息队列本身对数据存储有时效性，且当前无法使用 OLAP 引擎直接分析消息队列中的数据

2021-07-01

6280

【译】如何调整ApacheFlink®集群的大小How To Size Your Apache Flink® Cluster: A Back-of-the-Envelope Calculation

kafka 大数据

来自Flink Forward Berlin 2017的最受欢迎的会议是Robert Metzger的“坚持下去：如何可靠，高效地操作Apache Flink”。 Robert所涉及的主题之一是如何粗略地确定Apache Flink集群的大小。 Flink Forward的与会者提到他的群集大小调整指南对他们有帮助，因此我们将他的谈话部分转换为博客文章。请享用！

2019-09-17

1.7K0

flink sql使用kafka作为source和sink

kafka sql 大数据

大家都知道sql有着简单，直接，容易上手等优势，所以现在大有用sql去掉api的趋势。那么我们少说废话，下面先上个sql的列子

2019-09-17

1.7K0

flink系列(5)-kafka源码分析

kafka 大数据

最近一直在弄flink sql相关的东西，第一阶段的目标是从解决kafka的消费和写入的问题。不过也有些同学并不是很了解，今天我们来详细分析一下包的继承层次。

2019-09-17

6810

kafka(1)-基本术语

zookeeper kafka http

topic:自定义的一个队列 broker:broker通常就是一台物理机器，在上面运行kafka server的一个实列，每个broker会给自己分配一个唯一的broker id。broker集群通过zookeeper集群来管理的。在0.9.0中，producer/consumer已经不会依赖zookeeper来获取集群的配置信息，而是通过任意一个broker来获取整个集群的配置信息

2019-09-17

3480

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态