我正在处理xml的,我需要向每个记录发送一条消息,当我收到最后一条记录时,我关闭了kafka生产者,这里的问题是,kafka生产者的发送方法是异步的,因此,有时当我关闭生产者时,它会向我读到的某个地方传递java.lang.IllegalStateException: Cannot send after the producer is closed.,这样我就可以让生产者处于打开状态。我的问题是:这意味着什么,或者是否有更好的解决办法。
--编辑--
<list>
<element attr1="" att2="" attr3="&
我们正在运行kafka流应用程序和频率,运行在堆外内存问题上。我们的应用程序被部署,kubernetes吊舱继续重新启动。
我正在做一些调查,发现我们可以通过实现RocksDBConfigSetter来限制堆外内存,如下面的示例所示。
public static class BoundedMemoryRocksDBConfig implements RocksDBConfigSetter {
// See #1 below
private static org.rocksdb.Cache cache = new org.rocksdb.LRUCache(TOTAL_OFF_HEAP_
我的Java应用程序在Linux机器上运行,该机器连接到在不同Linux机器上运行的Zookeeper和Kafka。有时,应用程序日志中会出现警告消息。
WARN [ClientCnxn:1108] Client session timed out, have not heard from server in 36670ms for sessionid 0x15cf3c1eccf0001
我的Zookeeper配置是:
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
maxCl
我已经在不同的节点上设置了Kafka 3节点集群和Zookeeper 3节点集群.通过使用Kafka,我可以成功地生成和使用消息,并运行像kafka-topic.sh这样的命令,从动物园管理员那里获取主题列表及其信息,但是在Kafka server.log文件上存在一些错误。以下警告不断出现:
[2018-02-18 21:50:01,241] WARN Client session timed out, have not heard from server in 320190154ms for sessionid 0x161a94b101f0001 (org.apache.zookeeper
我有一个作业,每10秒接收一次Kafka的数据,然后格式化数据并插入到cassandra中,但我的作业变得越来越慢,这非常令人困惑。
根据我的统计,每10秒有不到100条消息,第一次处理最多只需要1秒,但几天后处理变慢,现在需要14秒来处理10秒的数据。
我很困惑是否有一些因素会让工作变得更慢。
而且我注意到处理python -m pyspark.daemon也消耗了越来越多的内存,有没有一些方法可以降低内存成本。
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
24527 yao.yu
我使用汇合REST代理调用Kafka。我正在读取一个CSV文件,从所有记录中创建一个对象(大约400万条记录),并向REST代理发送一个请求。我一直在获取一个OutOfMemory异常。
确切的例外消息是:
Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "kafka-producer-network-thread | producer-81"
我只有一个REST代理服务器的实例,作为一个码头容器托管。环境变量设置为:
JAVA_OPTIONS=-X
我试着用这个代码用broker版本0.10测试kafka流。它只是一个简单的代码来打印一个主题的内容。还没什么大不了的!但是,由于某种原因,内存是不够的(VM中的10 VM内存)!守则:
# coding: utf-8
"""
kafka-test-003.py: test with broker 0.10(new Spark Stream API)
How to run this script?
spark-submit --jars jars/spark-sql-kafka-0-10_2.11-2.3.0.jar,jars/kafka-clients-0.11
提前谢谢。请帮助我解决下面提到的kafka错误。
00000000000000.txnindex and rebuilding index... (kafka.log.Log)
[2018-09-25 12:48:05,462] ERROR There was an error in one of the threads during logs loading: java.lang.InternalError: a fault occurred in a recent unsafe memory access operation in compiled Java code (kafka.log
我们有两个卡夫卡经纪人和3个动物园管理员在我们的集群。
随机的(2-10个小时的时间)经纪人都要破产了。
如果有任何帮助来调试这个问题,我们将不胜感激。
日志
[2014-10-28 08:19:56,465] INFO [Kafka Server 1], shutting down (kafka.server.KafkaServer)
[2014-10-28 08:19:56,470] INFO [Socket Server on Broker 1], Shutting down (kafka.network.SocketServer)
[2014-10-28 08:19:56,477] I
我们在生产中部署了一个3 broker Kafka 0.10.1.0。有些应用程序中嵌入了Kafka生成器,它们将应用程序日志发送到某个主题。本主题有10个分区,复制因子为3。
我们观察到,其中一些应用服务器上的内存使用一直在断断续续地从屋顶上射出。在收起堆堆后,我们发现最主要的嫌疑人是:
**org.apache.kafka.common.network.Selector -**
occupies 352,519,104 (24.96%) bytes. The memory is accumulated in one instance of "byte[]" loaded