首页
学习
活动
专区
工具
TVP
发布

暴走大数据

专栏成员
298
文章
584575
阅读量
100
订阅数
Apache Kafka 3.2.0 重磅发布!
3.2.0 版本包含许多新功能和改进。本文将重点介绍一些最突出的新功能。有关更改的完整列表,请务必查看发行说明。您还可以观看发布视频,了解 Apache Kafka 3.2.0 中的新功能摘要。
大数据真好玩
2022-06-17
2K0
Spring Cloud + ELK 统一日志系统搭建
ELK 是 Elasticsearch、Logstash、Kibana 的简称,这三者是核心套件,但并非全部。
大数据真好玩
2021-01-26
3.1K0
【大数据哔哔集20210120】Kafka 的高可靠性是怎么实现的
Kafka 作为一个商业级消息中间件,消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。
大数据真好玩
2021-01-21
3440
深入理解Kafka的核心调优参数
kafka的配置属性多达几百个,在生产环境中对kafka进行调优时,该如何设置这些属性值呢?
大数据真好玩
2020-11-03
1.9K0
Flink源码解读系列 | Flink中接收端反压以及Credit机制
可以看到每个task都会有自己对应的IG(inputgate)对接上游发送过来的数据和RS(resultPatation)对接往下游发送数据, 整个反压机制通过inputgate,resultPatation公用一个一定大小的memorySegmentPool来实现(Flink中memorySegment作为内存使用的抽象,类比bytebuffer), 公用一个pool当接收上游数据时Decoder,往下游发送数据时Encoder,都会向pool中请求内存memorySegment 。因为是公共pool,也就是说运行时,当接受的数据占用的内存多了,往下游发送的数据就少了,这样是个什么样的情况呢?
大数据真好玩
2020-09-22
8560
Elasticsearch在日志分析领域应用和运维实践
场景描述:Elasticsearch及相关产品,介绍基于ELK + Kafka 的日志分析系统,Elasticsearch优化经验,阿里云 Elasticsearch服务以及Elasticsearch 运维实践。
大数据真好玩
2019-10-30
9090
Spark Core源码精读计划16 | 通过ExecutorAllocationManager实现动态Executor分配
按照SparkContext初始化的顺序,接下来就轮到调度系统的三大金刚——SchedulerBackend、TaskScheduler、DAGScheduler——出场了。与它们相关的细节非常多,绝不是一两篇文章能够讲清楚的,所以我们之后讲到Spark作业执行时,再自然地回过头详细看它们。本篇来讲解SparkContext初始化的倒数第二个组件:Executor分配管理器,即ExecutorAllocationManager。前面已经讲过,ExecutorAllocationManager可以通过与集群管理器联系,根据当前的负载动态增加或删除Executor,是一个比较智能的机制。
大数据真好玩
2019-08-19
9260
Spark Core源码精读计划6 | AsyncEventQueue与LiveListenerBus
在上一篇文章中,我们了解了Spark事件总线机制的概况,以及ListenerBus、SparkListenerBus的细节。
大数据真好玩
2019-08-08
1.1K0
Spark源码精度计划 | SparkConf
从本文开始,讨论Spark基础支撑子系统的具体实现。首先来看WordCount中最先出现的SparkConf。
大数据真好玩
2019-08-08
5520
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档