腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据进阶

专栏作者

95

文章

136935

阅读量

19

订阅数

当有多个应用程序都需要从Kafka获取消息时，让每个app对应一个消费者组，从而使每个应用程序都能获取一个或多个Topic的全部消息；在每个消费者组中，往消费者组中添加消费者来伸缩读取能力和处理能力，消费者组中的每个消费者只处理每个Topic的一部分的消息，每个消费者对应一个线程。

2022-01-20

9050

kafka架构和常见术语

Kafka是一个分布式系统，易于向外扩展。它同时为发布和订阅提供高吞吐量。它支持多订阅者，当失败时能自动平衡消费者。消息的持久化。

2022-01-05

3390

使用Prometheus+Grafana监控Flink on YARN作业

yarn node.js flink 大数据网站

实时作业要保证7 x 24运行，除了要在业务逻辑和编码上下功夫之外，好的监控系统也是必不可少的。Flink支持多种汇报监控指标（metrics）的reporter，如JMX、SLF4J、InfluxDB、Prometheus等。

2021-09-10

1.8K0

搭建高可用的flink JobManager HA

yarn flink node.js 大数据

JobManager协调每个flink应用的部署，它负责执行定时任务和资源管理。每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后，将不能提交新的任务和运行新任务失败，这样会造成单点失败，所以需要构建高可用的JobMangager。

2021-06-29

1.4K0

hadoop ha搭建

修改zoo.cfg，创建对应的目录，在data目录下创建myid文件，一切完毕后进行启动

2020-04-24

6270

flink(12)-flink on yarn

flink 大数据 yarn node.js

flink yarn flink on yarn有两种模式，分别是session cluster和per job

2020-04-24

7840

【转】cgroup的使用

本文的地址为：http://tiewei.github.io/devops/howto-use-cgroup/

2019-09-17

1K0

【转】storm和zookeeper中的节点的关系

zookeeper node.js

【转】https://www.cnblogs.com/yuananyun/p/5186427.html

2019-09-17

9310

【转】使用awk的坑

linux unix node.js shell 正则表达式

由于项目经历原因，经常使用awk处理一些文本数据。甚至，我特意下载了一个windows上的awk：gawk.exe，这样在windows上也能享受awk处理数据的方便性，。

2019-09-17

1.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态