一条老狗

LV0
关注了用户

云加社区技术沙龙

腾讯云+社区技术沙龙官方号

149 文章0 回答1.4K 关注者
订阅了专栏

腾讯云技术沙龙

149 文章1.4K 关注者
报名了沙龙

技术创作101训练营--腾讯「技术创作101训练营」第1季 —— 技术写作

2020-09-19深圳市报名截止
发表了文章

kafka消费组及重平衡的影响

消费组应该算是kafka中一个比较有特色的设计模式了,而他的重平衡机制也是我们在实际生产使用中,无法避免的一个问题。

一条老狗
发表了文章

kafka生产者的幂等和事务处理

之前和大家聊过kafka是如何保证消息不丢失的,今天再讲讲在不丢消息的同时,如何实现精确一次处理的语义实现。

一条老狗
回答了问题

Dr.Elephant支持hadoop3吗?还有编译一直有包找不到怎么解决?

一条老狗公众号:极客运维回答于

目前官方开源的Dr.Elephant还不支持Hadoop3。

不过你编译老版本的包,一样可以采集分析Hadoop3的MapReduce和Spark作业,通过配置history server 的REST API地址即可。Tez jobs可能会有些问题。

发表了文章

kafka是如何保证消息不丢失的

今天和大家聊一下,kafka对于消息的可靠性保证。作为消息引擎组件,保证消息不丢失,是非常重要的。

一条老狗
Kafka编程算法
发表了文章

kafka的发行版选择

今天继续和大家聊一下,kafka的各种发行版。kafka历经数年的发展,从最初纯粹的消息引擎,到近几年开始在流处理平台生态圈发力,衍生出了各种不同特性的版本。

一条老狗
ApacheKafka专用宿主机大数据Linux
发表了文章

kafka分区数过多引发的弊端

上篇文章我们了解到,如果一个topic分区越多,理论上整个集群所能达到的吞吐量就越大。那么,分区数越多就越好吗?显然不是。今天我们来聊下kafka在分区数过多的...

一条老狗
Kafka缓存
发表了文章

kafka分区数和吞吐量的关系

要讲 kafka 分区数和吞吐量的关系,首先得理解什么是分区(partition)。

一条老狗
Kafka
发表了文章

【Dr.Elephant中文文档-8】调优建议

你可以使用Dr. Elephant来分析你的作业(只需在搜索页贴入你的作业ID),就可以知道你的作业有哪些地方需要优化。

一条老狗
MapReduce大数据
发表了文章

【Dr.Elephant中文文档-7】自动调优

Dr.Elephant这个项目希望构建一个可以自动优化hadoop mapreduce相关函数的调优框架。在这种情况下,是为了函数消耗最少的资源来完成作业。我们...

一条老狗
APIHive大数据
发表了文章

【Dr.Elephant中文文档-6】度量指标和启发式算法

我们将作业的资源使用量定义为任务容器大小和任务运行时间的乘积。因此,作业的资源使用量可以定义为mapper和reducer任务的资源使用量总和。

一条老狗
MapReducespark大数据
发表了文章

【Dr.Elephant中文文档-5】用户指南

这个页面包含了集群最近的统计信息。列出了最近 24 小时分析过的作业数量,可进行优化的作业数量和待优化的作业数量。

一条老狗
大数据Hadoop
发表了文章

【Dr.Elephant中文文档-4】开发者指南

为了在本地部署Dr.Elephant测试,你需要安装Hadoop(version 2.x)或者Spark(Yarn mode, version > 1.4.0)...

一条老狗
HadoopXMLhttps大数据
发表了文章

【Dr.Elephant中文文档-3】快速安装说明

Step 1: 在 GitHub 上注册一个账号,并 fork 一份Dr. Elephant项目代码。

一条老狗
数据库MySQLSQLhttps大数据
发表了文章

【Dr.Elephant中文文档-2】管理员指南

Dr. Elephant依赖于 YARN 的资源管理服务器和历史作业记录服务器,来获取作业详细信息和记录。YARN 作业及其分析的详细信息将存储在当前配置的后端...

一条老狗
YarnXMLBash 指令Node.js大数据
发表了文章

【Dr.Elephant中文文档-1】Dr. Elephant简介

Dr. Elephant是一个Hadoop和Spark的性能监控和调优工具。它能自动采集作业的度量指标并分析他,然后以简单明了的方式展现出来。Dr. Eleph...

一条老狗
HadoopsparkAPIPHP
发表了文章

Dr.Elephant实战常见问题及解决方法

通过之前一系列的文章叙述,想必大家都对dr.elephant有了一个较为清晰的了解。通过自己线上经验的积累,以及和一些读者的交流,我汇总了一些大家在实战中遇到的...

一条老狗
sparkHadoopMapReduceXML大数据

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券