在我的kafka streams应用程序中创建状态存储时,我得到了这个错误Failed to lock the state directory: /tmp/kafka-streams/string-monitor/0_1。下面是应用程序的完整堆栈跟踪
[2016-08-30 12:43:09,408] ERROR [StreamThread-1] User provided listener org.apache.kafka.streams.processor.internals.StreamThread$1 for group string-monitor failed on partiti
我们使用selectKey()来更改密钥。在我们迁移到IBM Cloud上的新标准计划事件流之前,它可以很好地工作。然后我们在下面遇到了异常。它说我们的主题retentions.ms不适合范围3600000..2592000000。所以我想知道我们怎样才能解决这个问题。
谢谢,
[WARNING]
org.apache.kafka.streams.errors.StreamsException: Could not create topic employeeFilter-KSTREAM-KEY-SELECT-0000000047-repartition.
at org.apache.k
我试图为每个绑定设置valueSerde,但是只考虑默认的值。
AppSerde类
public class AppSerdes {
public static final class DepartmentSerde extends WrapperSerde<Department> {
public DepartmentSerde() {
super(new ProtobufSerializer<>(), new ProtobufDeserializer<>(Department.class));
我正在尝试遵循Kafka Stream的一个示例代码,以确保我的消费者能够正确地使用主题,我希望迭代并打印出它读取的事件/值。在文档here中,我尝试使用foreach,下面是我得到的代码。 @Component
public static class PageCountSink {
private final Log log = LogFactory.getLog(getClass());
@StreamListener
public void process(@Input((AnalyticsBinding
我正在使用Couchbase接收器连接器。CB和kafka在两个不同的EC2实例中,在不同的AWS区域。我正在跟踪这些文件:
基于这些,我认为连接必须在安装了kafka的主机上运行。我的连接能否在远程主机上运行,比如我从远程kafka读取消息并将消息接收到远程CB桶中?有这方面的文件吗?
此外,我还收到以下错误:
at org.apache.kafka.connect.util.ConvertingFutureCallback.result(ConvertingFutureCallback.java:79)
at org.apache.kafka.connect.ut
当我尝试创建一个kafka实例时,我得到了下面的异常。
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.kafka.common.metrics.Sensor.add(Lorg/apache/kafka/common/MetricName;Lorg/apache/kafka/common/metrics/MeasurableStat;)Z at org.apache.kafka.streams.processor.internals.metrics.StreamsMetricsImpl
在创建多个使用者(使用Kafka0.9javaAPI)并启动每个线程之后,我将得到以下异常
Consumer has failed with exception: org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed due to group rebalance
class com.messagehub.consumer.Consumer is shutting down.
org.apache.kafka.clients.consumer.CommitFailedExceptio
运行在Confluent Cloud上的kafka streams版本2.1.0在kafka streams应用启动时出现以下错误: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.PolicyViolationException: Config property 'segment.ms' with value '600000' exceeded min limit of 14400000. 完整调用堆栈: at org.apache.kafka.streams.p
我正在尝试使用Kafka Connect Elasticsearch连接器,但没有成功。它正因以下错误而崩溃:
[2018-11-21 14:48:29,096] ERROR Stopping after connector error (org.apache.kafka.connect.cli.ConnectStandalone:108)
java.util.concurrent.ExecutionException: org.apache.kafka.connect.errors.ConnectException: Failed to find any class that impleme
当源主题分区计数= 1时工作正常。如果我将分区增加到任何大于1的值,我会看到下面的错误。既适用于低级,也适用于DSL API。有什么建议吗?可能会遗漏什么?
org.apache.kafka.streams.errors.StreamsException: stream-thread [StreamThread-1] Failed to rebalance
at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:410)
at org.apach
下面的错误是在流运行一定时间后给出的?我找不到谁负责创建.sst文件?
环境规划署:
Kafka版本0.10.0-cp1
scala 2.11.8
org.apache.kafka.streams.errors.ProcessorStateException: Error while executing flush from store agg
at org.apache.kafka.streams.state.internals.RocksDBStore.flushInternal(RocksDBStore.java:424)
at org.a
我是否需要专门为Kafka JDBC源和宿连接器使用Confluent,或者我可以使用默认的apache Kafka实现吗?我尝试使用JDBC源配置作为worker属性来启动connect-standalone,但得到了以下异常: Failed to find any class that implements Connector and which name matches io.confluent.connect.jdbc.JdbcSourceConnector, available connectors are: PluginDesc{klass=class org.apache.ka
我正在运行一个有7个节点和大量流处理的Kafka集群。现在我在我的Kafka Streams应用程序中看到了不常见的错误,比如在高输入率下:
[2018-07-23 14:44:24,351] ERROR task [0_5] Error sending record to topic topic-name. No more offsets will be recorded for this task and the exception will eventually be thrown (org.apache.kafka.streams.processor.internals.RecordC
当生产者发布第一条消息时,我得到了以下异常,我试图理解这个错误的含义 Uncaught exception in thread 'kafka-producer-network-thread | producer-1':
java.lang.AbstractMethodError: Method brave/kafka/clients/TracingProducer.close(Ljava/time/Duration;)V is abstract
at brave.kafka.clients.TracingProducer.close(TracingProducer.
我有一个问题,试图运行kafka connect与postgres debezium连接器,而使用docker,它找不到一个特定的类,位于一个debezium-core的jar。
我已经下载了debezium postgres插件,并将其内容复制到我定义的plugin.path路径(/kafka/plugins)中。
即使kafka connect首先加载debezium内核和api,错误仍然会出现。
这是日志:
kafka-connect_1 | [2020-08-13 14:06:13,543] INFO Scanning for plugin classes. This might t
你好,我正在使用卡夫卡在我的申请排队。我将向我的应用程序注入75k记录/秒,这将由kafka排队。我的应用程序部署在openstack上。由于一些基础设施问题,当kafka将这些记录存储到磁盘上时,我将面临CRC问题,这与记录腐败有关。以下是例外情况:
org.apache.kafka.common.KafkaException: Error deserializing key/value for partition TcpMessage-3 at offset 1331363158
at org.apache.kafka.clients.consumer.internals.
当我试图从Kafka中读取时,我得到了以下错误
java.lang.IllegalArgumentException: Unknown compression type id: 5
at org.apache.kafka.common.record.CompressionType.forId(CompressionType.java:46)
at org.apache.kafka.common.record.Record.compressionType(Record.java:260)
at org.apache.kafka.common.record.LogEntry.isCompresse
在consumer上获取此kafka异常:
org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'correlation_id': java.nio.BufferUnderflowException
at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:71)
at org.apache.kafka.common.requests.ResponseHeader.parse(ResponseHeader.
当我从运行Kafka原生消息中心示例代码时,我得到了以下异常:
Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to construct kafka producer
at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:320)
at org.apache.kafka.clients.producer.KafkaProducer.<init>
我正在我的本地机器上测试storm+kafka集成。我有storm版本1.2.3和Kafka 2.5.0。我使用https://github.com/pvillard31/storm-kafka-kerberos/blob/master/src/main/java/example/KafkaStormKafkaTopology.java中的代码作为我的测试代码。 每当我提交拓扑时,我都会得到以下错误 Unable to get offset lags for kafka. Reason: org.apache.kafka.shaded.common.config.ConfigExceptio
当我在kafka中执行以下命令时
./kafka-consumer-groups.sh --bootstrap-server sample-address:9092 --list
我面临着下面的错误
Error: Executing consumer group command failed due to org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
java.util.concurrent.ExecutionException: org.apache.kafka.common