前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Kafka 错误记录

Kafka 错误记录

作者头像
郭顺发
发布于 2023-07-17 10:01:28
发布于 2023-07-17 10:01:28
61300
代码可运行
举报
文章被收录于专栏:pandacode_cnpandacode_cn
运行总次数:0
代码可运行

Kafka - 错误记录

cannot allocate memory

日志描述:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
// Java运行时环境的内存不足,无法继续运行。
## There is insufficient memory for the Java Runtime Environment to continue.    
// 1073741824刚好是1G, 这句话的意思是本机内存分配未能为提交保留内存分配1G内存。
# Native memory allocation (malloc) failed to allocate 1073741824 bytes for committing reserved memory.

解决方案:

从这两行提示信息来看,应该是内存不够,经过百度,发现是kafka默认启动内存是1G, 而JVM默认内存也是1G, JVM自然不能所有内存都分配给kafka, 所以kafka就启动不了,解决方法是把kafka的最小启动内存设置为小于1G的值,即把kafka-server-start.sh中把’export KAFKA_HEAP_OPTS=”-Xmx1G -Xms1G”‘中的Xms设置为256M, 这样,kafka最小只需要256M即可启动。

重启kafka服务。

Executing consumer group command failed due to Request METADATA failed on brokers List(ubuntu:9092 (id: -1 rack: null))

日志描述:

运行bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list触发的错误日志。消费者团体执行命令失败由于请求元数据失败的经纪人名单上。

解决方案:

查看server.properties zookeeper的配置信息。调整成正确的YOUR_IP_ADDRESS即可。bin/kafka-consumer-groups.sh --bootstrap-server YOUR_IP_ADDRESS:9092 --list

参考资料
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-07-01 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
kafka查看消费数据
在老版本中,使用kafka-run-class.sh 脚本进行查看。但是对于最新版本,kafka-run-class.sh 已经不能使用,必须使用另外一个脚本才行,它就是kafka-consumer-groups.sh
py3study
2020/02/24
6.5K0
Kafka Consumer重置Offset
在Kafka Version为0.11.0.0之后,Consumer的Offset信息不再默认保存在Zookeeper上,而是选择用Topic的形式保存下来。
迹_Jason
2019/05/28
10.4K0
kafka 命令行工具常用命令行操作
查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap–server和zookeeper参数:
大鹅
2021/06/16
5.4K0
Kafka快速入门系列(3) | Kafka常用脚本介绍及简单的shell操作
  至于怎样查看脚本,我们可以查看Kafka/bin目录,下图标记即为常用的脚本
不温卜火
2020/10/28
6780
Kafka快速入门系列(3) | Kafka常用脚本介绍及简单的shell操作
进击消息中间件系列(三):Kafka 中 shell 命令使用
注:partitions指定topic分区数,replication-factor指定topic每个分区的副本数。
民工哥
2023/08/22
5160
进击消息中间件系列(三):Kafka 中 shell 命令使用
kafka常用操作
kafka运维常用查询操作总结以下几点: kafka生产和消费消息测试 发送:bin/kafka-console-producer.sh --broker-list 10.46.200.165:9092 --topic contentApprove 接收:bin/kafka-console-consumer.sh --bootstrap-server 10.46.200.165:9092 --topic contentApprove --from-beginning 创建topic命令参考 .bin/kaf
钢铁知识库
2022/08/20
1820
FileBeat + Kafka Logstash+ ElasticSearch+Kibana 搭建日志管理平台
除了kafka以外,其它四个均可以在elastic官网中下载,具体的可以在下载地址选择软件和版本进行下载,本文档都是基于6.0.0的版本操作的 Kafka可以在Apache中下载
BUG弄潮儿
2022/03/08
7230
FileBeat + Kafka Logstash+ ElasticSearch+Kibana 搭建日志管理平台
Kafka-manager部署与使用简单介绍
Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具,用于管理Apache Kafka集群的工具,用户可以在Web界面执行一些简单的Kafka集群管理操作
yuanfan2012
2020/08/04
3.3K0
Kafka-manager部署与使用简单介绍
Kafka:常用命令
启动Kafka:kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 创建一个叫test的话题,有两个分区,每个分区3个副本:kafka-topics.sh --zookeeper localhost:2181 --create --topic test --replication-factor 3 --partitions 2 查看创建的topic:kafka-topics.sh --zookeeper localhost:2
栗筝i
2022/12/01
5780
【kafka】常用命令汇总
目录 查询 1.查看所有或者指定Topic的信息 2.列出所有Topic 3.新消费者列表查询 4.显示某个消费组的消费详情(0.10.1.0版本+) TODO 查询 1.查看所有或者指定Topic的信息 查看Topic的分区情况 副本情况和 配置情况 ## 所有 bin/kafka-topics.sh --describe --zookeeper xxxx ##指定 bin/kafka-topics.sh --describe --zookeeper xxxx --topic TOPIC名称
石臻臻的杂货铺[同名公众号]
2021/07/14
5740
Kafka实战宝典:如何跨机房传输数据
MirrorMaker 为Kafka 内置的跨集群/机房数据复制工具,二进制包解压后bin目录下有kafka-mirror-maker.sh,Mirror Maker启动后,包含了一组消费者,这些消费者属于同一个group,并从多个topic上读取数据,所有的topic均使用该group.id,每个MirrorMaker 进程仅有一个生产者,该生产者将数据发送给目标集群的多个topic;
数据社
2020/05/25
3.1K0
Kafka运维命令大全
1、集群管理 前台启动broker bin/kafka-server-start.sh <path>/server.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh -daemon <path>/server.properties 关闭broker bin/kafka-server-stop.sh 2、Topic管理 创建topic bin/kafka-topics.sh --create --zookeeper localhost:21
用户6070864
2019/09/17
1.1K0
Kafka运维命令大全
kafka消费者组分区分配实战
问题引入:一个consumer group中有多个consumer组成,一个 topic有多个partition组成,现在的问题是,到底由哪个consumer来消费哪个partition的数据
九转成圣
2024/11/24
1490
【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议保存)
本文所有命令,博主均全部操作验证过,保证准确性; 非复制粘贴拼凑文章; 如果想了解更多工具命令,可在评论区留下评论,博主会择期加上;
石臻臻的杂货铺[同名公众号]
2021/12/31
2.2K1
【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议保存)
Kafka 命令记录
bin/kafka-server-start.sh <path>/server.properties Ctrl + C 关闭
郭顺发
2023/07/17
1390
查看kafka消息消费情况
消息堆积是消费滞后(Lag)的一种表现形式,消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量,也称之为消费滞后(Lag)量。 对于Kafka而言,消息被发送至Topic中,而Topic又分成了多个分区(Partition),每一个Partition都有一个预写式的日志文件,虽然Partition可以继续细分为若干个段文件(Segment),但是对于上层应用来说可以将Partition看成最小的存储单元(一个由多个Segment文件拼接的“巨型文件”)。 每个Partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到Partition中。我们来看下图,其就是Partition的一个真实写照:
chenchenchen
2022/05/07
2.5K0
查看kafka消息消费情况
kafka中partition和消费者对应关系
1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果
小勇DW3
2019/09/02
2.8K0
kafka中partition和消费者对应关系
【docker专题_04】docker搭建kafka与zookeeper
注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败 注意:124.71.65.6 替换为自己的服务器地址
夏之以寒
2024/03/04
4370
Kafka 常用脚本与配置
脚本 作用 kafka-server-start.sh kafka启动 kafka-server-stop.sh kafka停止 kafka-topics.sh 查看创建删除topic kafka-c
兜兜毛毛
2020/12/31
7700
7.【kafka运维】 kafka-consumer-groups.sh消费者组管理
先调用MetadataRequest拿到所有在线Broker列表 再给每个Broker发送ListGroupsRequest请求获取 消费者组数据
石臻臻的杂货铺[同名公众号]
2021/08/16
8.6K0
相关推荐
kafka查看消费数据
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文