一条老狗

LV0
发表了文章

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

桔妹导读: LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平...

一条老狗
发表了文章

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于K...

一条老狗
Kafka大数据
发表了文章

一次CPU sys上涨引发对kafka PageCache的思考

线上某个kafka集群由于种种原因,从 24 * 机型 A 置换迁移为 12 * 机型 B。从集群总资源维度看,排除其他客观因素,置换后,CPU总核数少了一半,...

一条老狗
关注了用户

云加社区技术沙龙

腾讯云+社区技术沙龙官方号

149 文章0 回答6.1K 关注者
订阅了专栏

腾讯云技术沙龙

146 文章6.1K 关注者
报名了沙龙

技术创作101训练营--腾讯「技术创作101训练营」第1季 —— 技术写作

2020-09-19深圳市回顾中
发表了文章

kafka消费组及重平衡的影响

消费组应该算是kafka中一个比较有特色的设计模式了,而他的重平衡机制也是我们在实际生产使用中,无法避免的一个问题。

一条老狗
发表了文章

kafka生产者的幂等和事务处理

之前和大家聊过kafka是如何保证消息不丢失的,今天再讲讲在不丢消息的同时,如何实现精确一次处理的语义实现。

一条老狗
回答了问题

Dr.Elephant支持hadoop3吗?还有编译一直有包找不到怎么解决?

一条老狗公众号:极客运维回答于

目前官方开源的Dr.Elephant还不支持Hadoop3。

不过你编译老版本的包,一样可以采集分析Hadoop3的MapReduce和Spark作业,通过配置history server 的REST API地址即可。Tez jobs可能会有些问题。

发表了文章

kafka是如何保证消息不丢失的

今天和大家聊一下,kafka对于消息的可靠性保证。作为消息引擎组件,保证消息不丢失,是非常重要的。

一条老狗
Kafka编程算法
发表了文章

kafka的发行版选择

今天继续和大家聊一下,kafka的各种发行版。kafka历经数年的发展,从最初纯粹的消息引擎,到近几年开始在流处理平台生态圈发力,衍生出了各种不同特性的版本。

一条老狗
ApacheKafka专用宿主机大数据Linux
发表了文章

kafka分区数过多引发的弊端

上篇文章我们了解到,如果一个topic分区越多,理论上整个集群所能达到的吞吐量就越大。那么,分区数越多就越好吗?显然不是。今天我们来聊下kafka在分区数过多的...

一条老狗
Kafka缓存
发表了文章

kafka分区数和吞吐量的关系

要讲 kafka 分区数和吞吐量的关系,首先得理解什么是分区(partition)。

一条老狗
Kafka
发表了文章

【Dr.Elephant中文文档-8】调优建议

你可以使用Dr. Elephant来分析你的作业(只需在搜索页贴入你的作业ID),就可以知道你的作业有哪些地方需要优化。

一条老狗
MapReduce大数据
发表了文章

【Dr.Elephant中文文档-7】自动调优

Dr.Elephant这个项目希望构建一个可以自动优化hadoop mapreduce相关函数的调优框架。在这种情况下,是为了函数消耗最少的资源来完成作业。我们...

一条老狗
APIHive大数据
发表了文章

【Dr.Elephant中文文档-6】度量指标和启发式算法

我们将作业的资源使用量定义为任务容器大小和任务运行时间的乘积。因此,作业的资源使用量可以定义为mapper和reducer任务的资源使用量总和。

一条老狗
MapReducespark大数据
发表了文章

【Dr.Elephant中文文档-5】用户指南

这个页面包含了集群最近的统计信息。列出了最近 24 小时分析过的作业数量,可进行优化的作业数量和待优化的作业数量。

一条老狗
大数据Hadoop
发表了文章

【Dr.Elephant中文文档-4】开发者指南

为了在本地部署Dr.Elephant测试,你需要安装Hadoop(version 2.x)或者Spark(Yarn mode, version > 1.4.0)...

一条老狗
HadoopXMLhttps大数据
发表了文章

【Dr.Elephant中文文档-3】快速安装说明

Step 1: 在 GitHub 上注册一个账号,并 fork 一份Dr. Elephant项目代码。

一条老狗
数据库MySQLSQLhttps大数据

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券