暴走大数据-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

暴走大数据

专栏成员

298

文章

584575

阅读量

100

订阅数

Apache Kafka 3.2.0 重磅发布！

tcp/ip kafka apache api http

3.2.0 版本包含许多新功能和改进。本文将重点介绍一些最突出的新功能。有关更改的完整列表，请务必查看发行说明。您还可以观看发布视频，了解 Apache Kafka 3.2.0 中的新功能摘要。

大数据真好玩

2022-06-17

2K0

Spring Cloud + ELK 统一日志系统搭建

Elasticsearch Service apache https http 网络安全

ELK 是 Elasticsearch、Logstash、Kibana 的简称，这三者是核心套件，但并非全部。

大数据真好玩

2021-01-26

3.1K0

【大数据哔哔集20210120】Kafka 的高可靠性是怎么实现的

Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。

大数据真好玩

2021-01-21

3440

深入理解Kafka的核心调优参数

kafka的配置属性多达几百个，在生产环境中对kafka进行调优时，该如何设置这些属性值呢？

大数据真好玩

2020-11-03

1.9K0

Flink源码解读系列 | Flink中接收端反压以及Credit机制

java http android

可以看到每个task都会有自己对应的IG(inputgate)对接上游发送过来的数据和RS(resultPatation)对接往下游发送数据, 整个反压机制通过inputgate,resultPatation公用一个一定大小的memorySegmentPool来实现(Flink中memorySegment作为内存使用的抽象，类比bytebuffer), 公用一个pool当接收上游数据时Decoder，往下游发送数据时Encoder,都会向pool中请求内存memorySegment 。因为是公共pool，也就是说运行时，当接受的数据占用的内存多了，往下游发送的数据就少了，这样是个什么样的情况呢？

大数据真好玩

2020-09-22

8560

Elasticsearch在日志分析领域应用和运维实践

node.js http kafka 运维 Elasticsearch Service

场景描述：Elasticsearch及相关产品，介绍基于ELK + Kafka 的日志分析系统，Elasticsearch优化经验，阿里云 Elasticsearch服务以及Elasticsearch 运维实践。

大数据真好玩

2019-10-30

9090

Spark Core源码精读计划16 | 通过ExecutorAllocationManager实现动态Executor分配

缓存 spark http

按照SparkContext初始化的顺序，接下来就轮到调度系统的三大金刚——SchedulerBackend、TaskScheduler、DAGScheduler——出场了。与它们相关的细节非常多，绝不是一两篇文章能够讲清楚的，所以我们之后讲到Spark作业执行时，再自然地回过头详细看它们。本篇来讲解SparkContext初始化的倒数第二个组件：Executor分配管理器，即ExecutorAllocationManager。前面已经讲过，ExecutorAllocationManager可以通过与集群管理器联系，根据当前的负载动态增加或删除Executor，是一个比较智能的机制。

大数据真好玩

2019-08-19

9260

Spark Core源码精读计划6 | AsyncEventQueue与LiveListenerBus

javascript node.js http

在上一篇文章中，我们了解了Spark事件总线机制的概况，以及ListenerBus、SparkListenerBus的细节。

大数据真好玩

2019-08-08

1.1K0

Spark源码精度计划 | SparkConf

spark java http scala hashmap

从本文开始，讨论Spark基础支撑子系统的具体实现。首先来看WordCount中最先出现的SparkConf。

大数据真好玩

2019-08-08

5520

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态