腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(790)
视频
沙龙
2
回答
如何将
状态
目录
添加到
嵌入式
Kafka
流
?
、
、
我正在为junit使用
嵌入式
Kafka
,并且我想为
嵌入式
Kafka
设置
状态
目录
。 我已经尝试设置流配置,但它不工作。
浏览 20
提问于2019-06-30
得票数 0
1
回答
如何在多个磁盘上分发
Kafka
流
状态
存储
、
在
Kafka
Broker上,建议对消息日志使用多个驱动器来提高吞吐量。这就是为什么他们有一个log.dirs属性,可以有多个
目录
,这些
目录
将以循环方式分配给分区。我们已经为事件驱动的
kafka
应用程序安装了很多这样的安装,我们有4个节点,每个节点有5个磁盘。现在,我们希望使用带有键值存储的
Kafka
流
,在该存储库中,我们将计算出来的数据持久化,用于快速范围查询。我们看到
Kafka
-Streams将分区1对1映射到多个
状态
存储区,并为每个
状态<
浏览 6
提问于2020-03-16
得票数 1
回答已采纳
1
回答
Spring Embedded
Kafka
+模拟架构注册表:
状态
存储ChangeLog架构未注册
、
、
、
我正在使用带有MockSchemaRegistryClient的为我们的
kafka
系统构建一个集成测试。我在将来自表1的KTableProcessor的输入馈送到stream1时遇到错误:Caused by: org.apache.
k
浏览 2
提问于2018-06-19
得票数 5
1
回答
Kafka
流
状态
存储区rocksdb文件大小在手动删除消息时不会减少
、
、
我使用处理器api从
状态
存储中删除消息。Delete是成功的,我通过使用由
kafka
键对
状态
存储的交互式查询来确认,但是它并没有减少本地磁盘上tmp/
kafka
-streams
目录
下的
kafka
流
文件大小。statestore.all().forEachRemaining(keyValue -> { });
kafka</em
浏览 7
提问于2020-02-12
得票数 0
回答已采纳
2
回答
state.dir
目录
是否位于代理或应用程序端?
、
这些文件指出:州
目录
。
Kafka
流
将本地州保存在州
目录
下。每个应用程序在其主机上都有一个子
目录
,位于
状态
目录
下。子
目录
的名称是应用程序ID。与应用程序关联的
状态
存储在此子
目录
下创建。 这个
目录
是本地的,在我的客户端应用程序上还是在
Kafka
端?
浏览 0
提问于2018-09-28
得票数 3
回答已采纳
1
回答
使用
kafka
流
状态
存储可容纳超过5亿条消息
、
我正在尝试评估
kafka
流
是否与rocksdb
状态
存储一起使用,并在changelog (
状态
主题)中使用5亿条消息。用例我有大约8个不同的主题数据,它们属于不同的团队,从这些主题我关心某些数据点,所以我使用rocksdb来保存对象的
状态
,我将来自不同主题的所需数据
添加到
其中。使用
状态
存储的
kafka
流
也是这样使用的吗?
浏览 0
提问于2018-12-29
得票数 1
1
回答
将保存点
添加到
数据
流
、
、
、
我有一个
kafka
源,我的flink应用程序从它读取数据并处理它,我想添加flink的savepoint机制,以便从它离开的最后一个地方恢复进程,而不是将savepoint
添加到
kafka
源,我希望我的应用程序保持最后处理的
流
的
状态
我已经向
kafka
源文件添加了存储点,以恢复
kafka
流
,但我想恢复已处理的数据
流
DataStream<String> streamOfStrings = env.addSource(new
浏览 2
提问于2019-01-17
得票数 0
2
回答
卡夫卡用户-项目设计建议
、
、
、
我是新鲜的卡夫卡和数据
流
,并需要一些建议,以下的要求,我们的系统预计接近100万条消息每天。该消息带有一个项目标识符。应该将消息推送给该项目的用户。对于我们的情况,假设我们有项目A、B和C。到目前为止,这是我对实现需求的解决方案的想法, 消息到达时应该被推送到
Kafka
主题,让我们把这个主题称为根主题。消息一旦被推入根主题,可以由
Kafka
消费者/侦听器读取,并且基于消息中的项目标识符可以将该消息推送到特定于项目的主题。因此,任何消息都可能出现在主题A、B或C上。这里选择
Kafka
作为消息传递系统,因为它具有高度
浏览 1
提问于2018-01-30
得票数 1
1
回答
我可以在相同的application.id和不同的机器下运行卡夫卡
流
应用程序的多个实例吗
我试图在不同的机器上运行卡夫卡
流
应用程序的多个实例,但得到以下错误: 无法锁定全局
状态
目录
。如果使用相同的
状态
目录
在同一主机上运行多个KafkaStreams实例,则可能发生这种情况。kstream-test-prod-6f9bc47d9c-bmq2z: org.apache.
kafka
.streams.errors.LockException:未能锁定全局
状态
目录
: /tmp/
kafka
-streams
浏览 4
提问于2022-01-12
得票数 0
1
回答
为什么
kafka
流
状态
dir在/tmp/
kafka
流
中?
、
、
为什么卡夫卡
流
state.dir存储在/tmp/
kafka
-streams下?我知道我可以通过在
流
代码中提供
状态
dir配置来更改路径,如下所示但是改变
目录
会有什么影响吗?或 我可以在应用程序
目录
而不是/tmp中配置
状态
DB吗?
浏览 0
提问于2019-03-11
得票数 6
4
回答
Kafka
Streams -未创建存储
、
我将使用
kafka
streams计算平均值。所以我做了一个有
状态
的操作,聚合,这需要创建一个
状态
存储,但这并没有发生。: org.apache.
kafka
.streams.errors.ProcessorStateException: base state directory [/tmp/
kafka
-streams]<init>(KafkaStreams.java:658) at org.apache.
kafka
.streams.KafkaStr
浏览 28
提问于2018-11-27
得票数 3
2
回答
卡夫卡的数据怎么可能在集装箱回收过程中幸存下来?
、
、
、
接下来,我实现了
Kafka
文档中的
Kafka
Streams示例(Wordcount);它运行良好,计算您推入的所有文本中的单词,保留以前所有运行中的数字。因此,当我删除由容器挂载的容器和Docker主机上的文件夹时,我希望任何
状态
都会消失。 - /data/
kafka
/config:/config - /data/
kafka
/lo
浏览 7
提问于2020-03-02
得票数 2
回答已采纳
1
回答
kafka
在哪里保存本地
状态
存储?
、
我创建了一个
Kafka
主题,并向它发送了一些消息。我看到新
目录
已在我配置的state文件夹中创建。然后,我关闭了正在运行
流
的应用程序。我重启
Kafka
集群。在我的理解中,
状态
已经消失了。
Kafka
需要重新做聚合。但是在重启
kafk
浏览 0
提问于2021-04-12
得票数 0
1
回答
Kafka
流
数据更改
添加到
新的主题或
流
中
、
、
我有一个主题,它会
流
成
流
。该
流
有一个
状态
字段。如果在KSQL中将
状态
从“未决”更改为“完成”,是否可以将对象
添加到
另一个主题中。我可以很容易地在代码中做到这一点,但是如果可能的话,我想把它都保存在
Kafka
中吗?
浏览 9
提问于2022-03-16
得票数 0
1
回答
春云数据
流
降低
流
成本
我使用本地服务器,并部署带有
Kafka
主题和自定义接收器的60+
流
。内存/cpu使用成本目前是不可伸缩的。对于大多数
流
,我已经将Xmx设置为64m。 将多个
Kafka
"source“主题分组到一个接收器应用程序中。
浏览 0
提问于2018-04-02
得票数 1
1
回答
带有statestore的
Kafka
状态
流
处理器:幕后
、
据我所知,在这种类型的
流
处理器中,它使用State Store维护某种
状态
。A->B->C;处理器B为有
状态
的,具有本地
状态
存储和changelog 启用。我正在使用低级别API。假设sp侦听单个
kafka
主题,假设topic-1有10个分区。比如: topology.addStateStore(storeBuilder,"processorNa
浏览 2
提问于2020-05-05
得票数 2
回答已采纳
1
回答
KTable初始化和持久性
、
、
、
我正在学习使用Apache的事件驱动架构和
流
系统。我了解了事件源和CQRS,并有一些关于实现的基本问题。 例如,考虑一个
流
应用程序,在该应用程序中,我们正在监视在系统中注册的司机的车辆事件。我知道卡夫卡有一个持久化的
状态
存储可以维护所需的
状态
,但是我能像卡桑德拉表一样依赖它吗?有尺寸consideration?吗?如果整个应用程序以及所有
kafka
代理和消费者节点都被终止,那么应用程序能否重新启动而不会丢失KTable?中的驱动程序记录。如果
流
应用程序是基于Kubernetes的,那么如
浏览 7
提问于2022-09-12
得票数 0
回答已采纳
1
回答
如何注册无
状态
处理器(这似乎也需要StateStore )?
、
此步骤不改变数据的性质,并且完全无
状态
。当应用程序启动时,未能添加上述StateStore将导致此错误: 线程"main“org.apache.
kafka
.streams.errors.TopologyBuilderException为什么处理器必须有
状态
存储?对于无
状态
且不维护
状态
的处
浏览 5
提问于2016-08-22
得票数 6
回答已采纳
3
回答
Spring执行器+
Kafka
流
-将
kafka
流
状态
添加到
健康检查端点
、
、
我不使用春云
流
。我添加了执行器健康检查端点。health.db.enabled: false base-path:当一个运行时异常被抛出并且我的
流
被停止时,日志显示,但是健康检查
状态
已经启动。[lpp-model-stream-7e6e8fea-fcad-4033-92a4-5ede50de6e17] Streams client stopped complet伊利
如何将
kafka
流</e
浏览 13
提问于2019-09-19
得票数 7
回答已采纳
1
回答
删除版本2.3.1中的空
目录
失败
清除线程试图删除的
目录
为空,只能由根用户手动删除。应用程序在Docker容器中运行,/tmp/
kafka
-streams dir映射到物理/streams
目录
。 拜托,建议。-stream- StringAggregator-8ff4a4d6-5a4f-4bdf-a452-4b01f93a8956-CleanupThread未能删除
状态
目录
.sun.nio.fs.UnixFileSystemProvider.implDelete$2.postVisitDirectory(Ut
浏览 1
提问于2019-11-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
【大数据】KSQL初体验
CDC Debezium 介绍
Kubernetes,Kafka微服务架构模式讲解及相关用户案例
Spark Streaming 2.2.0 Input DStreams和Receivers
1,StructuredStreaming简介
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券