当我们在Windows 10上运行Kafka时,每5秒就会出现以下错误。
未能将偏移量检查点文件写入C:/tmp/kafka/user/ global /.检查点,用于全局存储:{}。如果操作系统清除了state.dir,当它位于(默认)${java.io.tmpdir}/kafka目录时,可能会发生这种情况。改变state.dir的位置可以解决这个问题。
java.nio.file.AccessDeniedException: C:/tmp/kafka-streams/user/global
这是我们的梯度。在编写本报告时,默认情况下这将导入3.0版本。
api 'org.apac
我有一个Kafka Streams应用程序,它正在从一个Store Changelog中读取,它偶尔会抛出这个错误:
org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {topic-partition=offset}
at org.apache.kafka.clients.consumer.internals.Fetcher.parseCompletedFetch(Fetcher
当源主题分区计数= 1时工作正常。如果我将分区增加到任何大于1的值,我会看到下面的错误。既适用于低级,也适用于DSL API。有什么建议吗?可能会遗漏什么?
org.apache.kafka.streams.errors.StreamsException: stream-thread [StreamThread-1] Failed to rebalance
at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:410)
at org.apach
我正在使用带有MockSchemaRegistryClient的为我们的kafka系统构建一个集成测试。我正在为我们的一个Stream拓扑构建一个测试,该拓扑是使用Streams API (KStreamBuilder)构建的。此特定拓扑将KStream (stream1)送入KTable (table1)。
我在将来自表1的KTableProcessor的输入馈送到stream1时遇到错误:
Exception in thread "mortgage-kafka-consumers-it-c1dd9185-ce16-415c-ad82-293c1281c897-StreamThrea
我们正在运行kafka流应用程序和频率,运行在堆外内存问题上。我们的应用程序被部署,kubernetes吊舱继续重新启动。
我正在做一些调查,发现我们可以通过实现RocksDBConfigSetter来限制堆外内存,如下面的示例所示。
public static class BoundedMemoryRocksDBConfig implements RocksDBConfigSetter {
// See #1 below
private static org.rocksdb.Cache cache = new org.rocksdb.LRUCache(TOTAL_OFF_HEAP_
下面的错误是在流运行一定时间后给出的?我找不到谁负责创建.sst文件?
环境规划署:
Kafka版本0.10.0-cp1
scala 2.11.8
org.apache.kafka.streams.errors.ProcessorStateException: Error while executing flush from store agg
at org.apache.kafka.streams.state.internals.RocksDBStore.flushInternal(RocksDBStore.java:424)
at org.a
定义了一个自定义存储,在自定义Transformer中使用(参考如下)。
public class KafkaStream {
public static void main(String[] args) {
StateStoreSupplier houseStore = Stores.create("HOUSE").withKeys(Serdes.String()).withValues(houseSerde).persistent().build();
KStreamBuilder kstreamBuilder = new KSt
我正在尝试测试我的Kafka流应用程序。我构建了一个简单的拓扑结构,从输入主题中读取数据,并将相同的数据存储在状态存储中。
我尝试使用TopologyTestDriver为这个拓扑编写单元测试。当我运行测试时,会遇到以下错误。
org.apache.kafka.streams.errors.LockException: stream-thread [main] task [0_0] Failed to lock the state directory for task 0_0
at org.apache.kafka.streams.processor.internals.Abstrac
我正在访问一个状态存储来查询它,并且不得不用一个try/catch块包装store()语句来重试它,因为有时我会得到这个异常:
org.apache.kafka.streams.errors.InvalidStateStoreException: Cannot get state store customers-store because the stream thread is PARTITIONS_REVOKED, not RUNNING
at org.apache.kafka.streams.state.internals.StreamThreadStateStoreProvid
我正在使用SpringBoot应用程序的Kstreams。我已经添加了下面给出的代码来处理流的关闭。
KafkaStreams streams = new KafkaStreams(builder.build(), props);
final CountDownLatch latch = new CountDownLatch(1);
Runtime.getRuntime().addShutdownHook(new Thread("streams-shutdown-hook") {
@Override
public void
我正在尝试创建一个Kafka Streams应用程序来处理Avro记录,但我收到以下错误:
Exception in thread "streams-application-c8031218-8de9-4d55-a5d0-81c30051a829-StreamThread-1" org.apache.kafka.streams.errors.StreamsException: Deserialization exception handler is set to fail upon a deserialization error. If you would rather hav