1回答
14.0M->14.0M Heap: 581.0M(4096.0M)->392.0M(4096.0M)]我正在运行kafka只要我启动我的节点服务器，kafka就会运行垃圾收集器，并在上面的日志中打印：
因此，python不能发布到队列，节点也不能消费。
浏览 11提问于2017-06-22得票数 0
1回答
我有卡夫卡/opt/kafka/log/kafkaServer-gc.loglog4j.appender.authorizerAppender=org.apache.log4j.DailyRollingFileAppend
浏览 0提问于2018-03-06得票数 0
回答已采纳
我在RHEL 8服务器上安装了一个带有log4j2支持(http://home.apache.org/~dongjin/post/apache-kafka-log4j2-support/)的Kafka3.0我在systemd单元文件中设置了环境变量KAFKA_LOG4J_OPTS="-Dlog4j.configurationFile=file:/home/username/
浏览 0提问于2021-12-23得票数 3
回答已采纳
有没有开源工具来监控融合的Kafka？大多数可用的开源工具都是特定于Apache Kafka的，但不是针对Confluent Kafka的。
我们希望至少监控连接器、流和集群的运行状况
浏览 3提问于2017-07-04得票数 0
我有2个经纪人的AWS MSK Kafka集群。从日志中我可以看到(在每个代理上)它们正在不断地重新平衡。我在日志中看到的每一分钟： Preparing to rebalance group amazon.msk.canary.group.broker-1 in state PreparingRebalanceconsumer-amazon.msk.canary.group.broker-1-27058-8aad596f-b00d-428a-abaa-f3a28d714f89 with group instance id None) (<e
浏览 106提问于2021-10-12得票数 2
我们最近决定为Apache代理在许多集群上启用GC日志记录(确切版本不同)，以帮助研究与Kafka相关的内存和垃圾收集问题。我们想要这样做的经纪人(而不是卡夫卡业务，如"kafka-topics.sh")。我们还想避免两个我们知道可能发生的问题：
日志占用过多的磁盘空间，导致磁盘被填满(如果您让集群运行足够长时间，
浏览 2提问于2016-10-04得票数 4
回答已采纳
我是apache的初学者，并且在apache中遇到了任务的垃圾收集时间。任务的执行时间是否包括任务垃圾收集时间？
浏览 0提问于2017-07-02得票数 4
我们的微服务使用JDK 8，Spring Cloud Stream API with Spring Boot 1.5.2 messages将消息生成到Kafka队列。对于Consumer API，我们使用Spring Kafka 1.1.2.RELEASE，特别是@KafkaListener。消息类型为应用程序json在JDK 8中使用普通Apache Kafka客户端A
浏览 0提问于2017-06-20得票数 0
1回答
我的Java应用程序在Linux机器上运行，该机器连接到在不同Linux机器上运行的Zookeeper和Kafka。有时，应用程序日志中会出现警告消息。1108] Client session timed out, have not heard from server in 36670ms for sessionid 0x15cf3c1eccf0001dataDir=/var/lib/zookeeper
clientPort
浏览 40提问于2017-06-29得票数 2
我在我的一个应用程序中使用Spring cloud Stream和spring-kafka，似乎每当有消费者重新平衡或GC时，由于弱引用，kafka消费者滞后量规被垃圾收集，因此返回NaN。我看到有人在这里提到了类似的问题和重现它的步骤。我们希望基于滞后量规自动缩放我们的应用程序。
浏览 2提问于2021-10-09得票数 0
我目前有一个mapPartitions任务，它在迭代器中flatMapping每个值，我遇到了一个问题，在某些执行中会有很大的GC开销。一些执行程序需要20分钟，其中15分钟是纯垃圾回收，我相信其中很大一部分与我输出的ArrayBuffer有关。有没有人对我如何做某种形式的流输出有什么建议？另外，有没有人对追踪/解决spark中的GC问题有什么一般的建议？
浏览 4提问于2016-01-30得票数 2
我找不到节点和动物园管理员之间通信的任何细节。假设在Kafka节点上发生了更多的垃圾收集，结果会是什么？
动物园管理员会切断与各自节点的通信吗？如果动物园管理员将断开各个节点的连接，结果会是什么？
浏览 0提问于2019-01-02得票数 8
回答已采纳
3回答
我想创建一个可以实时读取日志的系统，并使用apache spark对其进行处理。我很困惑是应该使用kafka或flume之类的东西来传递日志到spark stream，还是应该使用套接字来传递日志。我已经看过spark streaming文档中的一个示例程序-- 。但如果有人能指导我更好地将日志传递到spark stream，我将不胜感激。这对我来说是一块新的领地。
浏览 2提问于2015-02-22得票数 9
回答已采纳
我正在努力解决这个问题在重新部署时，在Tomcat 8.0.18上运行web应用程序(Apache，Java软件：)。我知道问题的原因可以通过Eclipse内存分析器找到，所以我在OOME时得到了一个堆转储，这个堆转储是由JVM自动生成的，
-XX:+HeapDumpOnOutOfMemoryError.我可以看到有4个WebappClassLoader实例应该被垃圾收集。但
浏览 5提问于2015-10-12得票数 1
回答已采纳
我对Spark-Streaming和Kafka有意见。在运行示例程序从Kafka主题消费并将微批结果输出到终端时，当我设置选项时，我的作业似乎挂起了： df.option("startingOffsets", "earliest") 从最新的偏移量开始工作很好我在想，也许这是一个资源问题--我正在尝试从一个有相当多数据的主题中阅读。但是，我似乎没有内存/cpu问题(使用本地*集群运行此作业)。console")
浏览 21提问于2019-09-18得票数 4
回答已采纳
我正在试图找出在生产中JVM 8上的两个垃圾回收之间的良好持续时间。我可以调优JVM上可用的内存，作为副作用，它将增加两个垃圾回收之间的持续时间，但如何区分正常情况还是没有为机器分配足够内存的情况。这个问题特别适用于像Jira和Confluence这样的系统，您可以查看屏幕截图。目前，垃圾收集大约每3小时进行一次。
/usr/lib&#
浏览 2提问于2015-08-05得票数 0
我一直在试验Kafka，并从主站点的文档中看到，您可以为jvm设置不同的选项，比如堆大小和它使用的垃圾收集器：
所以我<em
浏览 13提问于2014-12-28得票数 51
回答已采纳
1回答
我有一个运行在多个JVM(总共5个)上的Kafka Streams应用程序，以提高吞吐量。它正常运行了一个小时左右，然后，除了最后一个之外，每个JVM都开始相继崩溃。在我的代码中没有异常地随机崩溃。0x5c5255] G1ParScanThreadState::copy_to_survivor_space(InCSetState, oopDesc*, markOopDesc*)+0x45
我无法将此错误与我的代码关联起来
浏览 2提问于2018-11-06得票数 0
我们使用的是用Java编写的数据库(Apache Geode)。我们的服务器有64g的RAM，因此我们将Java堆(Xms和Xmx)设置为大约62g的RAM。对于这种情况，我见过的大多数Java建议都是使用CMS垃圾收集器，并将CMSInitiatingOccupancyFraction设置为大约68% (或多或少，但不是很多)。但我的问题是:为什么我们不能将垃圾收集</e
浏览 25提问于2019-05-08得票数 0
回答已采纳
1回答
我是卡夫卡的新手。我写了我的第一个消息制作人像这样kafkaProps.put("bootstrap.servers", "broker1:9092,broker2:9092");
kafkaProps.put("key.serializer", "org.apache.kafka.common.serialization.StringSerialize
浏览 2提问于2016-05-13得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
