我正在试着使用卡夫卡。
所有配置都已正确完成,但当我尝试从控制台生成消息时,我一直收到以下错误
WARN Error while fetching metadata with correlation id 39 :
{4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
卡夫卡版本:2.11-0.9.0.0
当在只有一个Kafka代理的测试设置中启动我们的Kafka Streams应用程序时,我们看到以下错误,大约15次运行中就有1次:
org.apache.kafka.streams.errors.StreamsException: Existing internal topic alarm-message-streams-by-organization-repartition has invalid partitions: expected: 32; actual: 12. Use 'kafka.tools.StreamsResetter' tool to clean up i
我试图使用卡夫卡消费对象从错误的/不存在的主题名中消费。下面是我在投票线之后的日志。
WARN 19508 --- [ad | producer-1] org.apache.kafka.clients.NetworkClient : Error while fetching metadata with correlation id 22 : {dummyTopic=LEADER_NOT_AVAILABLE}
它只是记录控制台上的警告,而不是抛出异常。我想要处理这种情况。如何做到这一点?下面是我的消费者代码
Properties consumerProperties = new P
最近,我们经常在Java中遇到“来自SyncGroup的错误:请求超时”。
这一问题通常发生在卡夫卡集群中很少的话题或消费者群体中。有人能提供一些关于这个错误的提示吗?作为一种解决办法,如果我更改了使用者组名称,我就不会看到错误。代理版本: 0.9.0 Kafka客户端版本: 0.9.0.1
Exception in thread "main" org.apache.kafka.common.KafkaException: Unexpected error from SyncGroup: The request timed out.
at org.apache.kafka.c
我让卡夫卡和动物园管理员安装在一台远程机器上。在那台机器上,我可以看到下面使用官方网站上的测试方法工作。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic listings-incoming
This is a message
This is another message
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --listings-incoming --from-beginning
This is
我在centos 7(汇合)上安装了Apache,我试图在分布式模式下运行filestream连接,但是我得到了以下错误:
[2017-08-10 05:26:27,355] INFO Added alias 'ValueToKey' to plugin 'org.apache.kafka.connect.transforms.ValueToKey' (org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader:290)
Exception in thread "main" o
我们有Kafka运行一个postgres连接器,它正在从DB中提取更改并将它们放到一个主题中。我们收到了一个错误
ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 1 messages
紧接着是
ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.run
我正在使用数据流kafka到bigquery模板。启动数据流作业后,它会在队列中停留一段时间,然后失败,出现以下错误:
Error occurred in the launcher container: Template launch failed. See console logs.
在查看日志时,我看到以下堆栈跟踪:
at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:192)
at org.apache.beam.sdk.Pipeline.run(Pipeline.java:317)
a
看到一些奇怪的行为与汇合2.0.0卡夫卡0.9,不知道有没有人有任何想法。我在9092上用纯文本侦听器启动了一个代理程序。效果很好。我正试着改变它,以听另一个端口。我试过9095。当它启动时,我在日志中看到如下内容:
[2016-01-14 18:11:43,511] INFO Awaiting socket connections on 0.0.0.0:9095. (kafka.network.Acceptor)
但后来,我看到这个
[2016-01-14 18:11:43,906] INFO Registered broker 0 at path /brokers/ids/0 with a
我试着写有关卡夫卡主题的数据,但是,仍然有一些错误。下面是我的配置和错误详细信息。
Kubernetes服务:
kubectl get services
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kafka-service NodePort 10.105.214.246 <none> 9092:30998/TCP 17m
kubernetes ClusterIP 10.96
在启动应用程序时,在Kafka流上出现了一些奇怪的错误。
java.lang.IllegalArgumentException: Illegal base64 character 7b
at java.base/java.util.Base64$Decoder.decode0(Base64.java:743)
at java.base/java.util.Base64$Decoder.decode(Base64.java:535)
at java.base/java.util.Base64$Decoder.decode(Base64.java:558)
at o
我尝试使用kafka connect将数据汇聚到postgresql中,但我得到的错误是模式不存在。
有没有可能是包含点的主题的名称造成了问题,因为错误提到模式"logstash“不存在,而这是直到第一个点的字符串?
错误:
org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerS