极客运维-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

极客运维

专栏成员

32

文章

72301

阅读量

15

订阅数

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

运维 kafka 开源

桔妹导读： LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时，还与多家知名企业达成商业化合作。

2021-01-18

7890

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

kafka 大数据

LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时，还与多家知名企业达成商业化合作。

2021-01-15

1.3K0

一次CPU sys上涨引发对kafka PageCache的思考

kafka 缓存 linux

线上某个kafka集群由于种种原因，从 24 * 机型 A 置换迁移为 12 * 机型 B。从集群总资源维度看，排除其他客观因素，置换后，CPU总核数少了一半，使用率上升其实也是预期之内的。事实上置换后，集群CPU使用率确实也由原有的 20%提升至 40%，上升了约 1 倍多。但置换后，cpu sys使用率均值约达到了 12%，较为抢眼，系统相关服务却并无异常，令人有些困惑。

2020-10-29

8760

kafka消费组及重平衡的影响

消费组应该算是kafka中一个比较有特色的设计模式了，而他的重平衡机制也是我们在实际生产使用中，无法避免的一个问题。

2020-06-16

3.9K0

kafka生产者的幂等和事务处理

kafka 云数据库 Redis 分布式

之前和大家聊过kafka是如何保证消息不丢失的，今天再讲讲在不丢消息的同时，如何实现精确一次处理的语义实现。

2020-05-09

2.4K0

kafka是如何保证消息不丢失的

kafka 编程算法

今天和大家聊一下，kafka对于消息的可靠性保证。作为消息引擎组件，保证消息不丢失，是非常重要的。

2020-02-24

11.9K0

kafka的发行版选择

apache kafka 专用宿主机大数据 linux

今天继续和大家聊一下，kafka的各种发行版。kafka历经数年的发展，从最初纯粹的消息引擎，到近几年开始在流处理平台生态圈发力，衍生出了各种不同特性的版本。

2020-02-13

2.2K0

kafka分区数过多引发的弊端

上篇文章我们了解到，如果一个topic分区越多，理论上整个集群所能达到的吞吐量就越大。那么，分区数越多就越好吗？显然不是。今天我们来聊下kafka在分区数过多的情况下，会带来哪些弊端。

2020-01-14

5.6K1

kafka分区数和吞吐量的关系

要讲 kafka 分区数和吞吐量的关系，首先得理解什么是分区(partition)。

2019-12-27

4K0

【Dr.Elephant中文文档-8】调优建议

mapreduce 大数据

你可以使用Dr. Elephant来分析你的作业（只需在搜索页贴入你的作业ID），就可以知道你的作业有哪些地方需要优化。

2019-12-26

9320

【Dr.Elephant中文文档-7】自动调优

api hive 大数据

Dr.Elephant这个项目希望构建一个可以自动优化hadoop mapreduce相关函数的调优框架。在这种情况下，是为了函数消耗最少的资源来完成作业。我们还希望在未来的版本将作业时间也作为函数资源消耗的参考指标。我们使用迭代算法和粒子群优化算法进行自动调优。这些迭代通过分析作业的多次运行结果来完成，我们已经在15-20次的作业中优化了20-30%的资源。

2019-12-26

6890

【Dr.Elephant中文文档-6】度量指标和启发式算法

mapreduce spark 大数据

我们将作业的资源使用量定义为任务容器大小和任务运行时间的乘积。因此，作业的资源使用量可以定义为mapper和reducer任务的资源使用量总和。

2019-12-26

1.3K0

【Dr.Elephant中文文档-5】用户指南

大数据 hadoop

这个页面包含了集群最近的统计信息。列出了最近 24 小时分析过的作业数量，可进行优化的作业数量和待优化的作业数量。

2019-12-26

9690

【Dr.Elephant中文文档-4】开发者指南

hadoop xml https 大数据

为了在本地部署Dr.Elephant测试，你需要安装Hadoop(version 2.x)或者Spark(Yarn mode, version > 1.4.0)，以及资源管理服务和历史作业服务（可以用伪分布式）。关于伪分布式模式在 YARN 上运行 MapReduce 作业相关说明可以在这里(https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html)[1]找到。

2019-12-26

1.2K0

【Dr.Elephant中文文档-3】快速安装说明

数据库云数据库 SQL Server sql https 大数据

Step 1：在 GitHub 上注册一个账号，并 fork 一份Dr. Elephant项目代码。

2019-12-26

1.4K4

【Dr.Elephant中文文档-2】管理员指南

yarn xml bash 指令 node.js 大数据

Dr. Elephant依赖于 YARN 的资源管理服务器和历史作业记录服务器，来获取作业详细信息和记录。YARN 作业及其分析的详细信息将存储在当前配置的后端 mysql 中。因此在运行Dr. Elephant前，必须安装好 MySQL 和 hadoop 2。从#162开始，将不再支持JAVA 6。

2019-12-26

1K0

【Dr.Elephant中文文档-1】Dr. Elephant简介

hadoop spark api php

Dr. Elephant是一个Hadoop和Spark的性能监控和调优工具。它能自动采集作业的度量指标并分析他，然后以简单明了的方式展现出来。Dr. Elephant的设计思想是通过作业分析结果来指导开发者进行作业调优，从而提升开发者效率和集群资源的利用率。Dr. Elephant使用了一组可配置的插件式启发算法来分析hadoop和spark作业并提供优化建议。然后针对结果数据来建议如何调整作业。这个算法还计算了作业的许多其他度量标准，用来为集群作业优化提供了有价值的参考信息。

2019-12-26

3.1K1

Dr.Elephant实战常见问题及解决方法

spark hadoop mapreduce xml 大数据

通过之前一系列的文章叙述，想必大家都对dr.elephant有了一个较为清晰的了解。通过自己线上经验的积累，以及和一些读者的交流，我汇总了一些大家在实战中遇到的问题和解决方案。

2019-12-26

1.9K0

kafka集群扩容后的数据均衡

kafka javascript json bash bash 指令

生产环境的kafka集群扩容，是一个比较常见的需求和操作。然而kafka在新增节点后并不会像elasticsearch那样感知到新节点加入后，自动将数据reblance到整个新集群中，因此这个过程需要我们手动分配。

2019-12-26

4.9K0

kafka数据存储目录间迁移

kafka 存储 json

生产环境kafka集群，在数据量大的情况下，经常会出现单机各个磁盘间的占用不均匀情况。

2019-12-26

4.2K1

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态