腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
无法
在
kafka
中
永久
保存
消息
我需要了解如何将
kafka
上产生的
消息
永久
化。我已经
在
server.properties文件
中
设置了log.retention.hours= -1和log.retention.bytes= -1属性,但
消息
仍然会在几天后被删除。
浏览 15
提问于2019-06-13
得票数 0
2
回答
将
kafka
用于CQRS
我读了很多关于
kafka
用作活动商店和CQRS的潜在候选者的文章。我想知道,由于
kafka
中
的
消息
有一个有限的保留时间,那么
消息
从
kafka
保留
消息
的磁盘
中
删除后,事件将如何重播?从逻辑上讲,当这些
消息
从
kafka
外部(在读取
kafka
主题的
消息
之后)存储在数据库(sql/nosql)
中
时,从事件存储的角度来看,这比
kafka
更有意义。
浏览 3
提问于2019-11-16
得票数 0
2
回答
不要打印卡夫卡-控制台-消费者警告
、
、
我正在尝试
在
Kafka
集群上调试加密
消息
。显然,这些
消息
充满了不可打印的字符,
无法
在
控制台上使用,因此我希望将输出
保存
在这样的文件
中
: --zookeeper 0.zookeeper.local,1.zookeeper.local \ --topic MYTOPIC > /tmp/message 我
浏览 2
提问于2016-02-24
得票数 7
回答已采纳
3
回答
使
Kafka
主题日志
永久
保留
、
我正在写日志
消息
到一个
Kafka
主题,我希望这个主题的保留是
永久
的。我
在
Kafka
和
Kafka
Connect (_schemas,connect-configs,connect-status,connect-offsets等)中看到,有一些特殊的主题不会被日志保留时间删除
浏览 28
提问于2016-09-28
得票数 18
回答已采纳
1
回答
使用spark streaming将每个
Kafka
消息
保存
在hdfs
中
、
、
、
经过分析,我必须将
kafka
消息
保存
在hdfs
中
。每条
kafka
消息
都是一个xml文件。我不能使用rdd.saveAsTextFile,因为它会
保存
整个rdd。rdd的每个元素都是
kafka
消息
( xml文件)。如何使用spark
在
hdfs中
保存
每个rdd元素(文件)。
浏览 0
提问于2018-02-16
得票数 0
1
回答
Scala中使用
Kafka
的Spark流媒体
、
、
我正在尝试使用IntelliJ
在
Scala
中
构建一个
Kafka
消费者,以便从
Kafka
主题读取
消息
并将它们
保存
在hdfs上。我使用的是spark 1.6.2,
kafka
_2.10-0.10,scala 2.10.5和hdp 2.5.3。我得到以下错误: Exception in thread "main" java.lang.NoSuchMethodError:
kafka
.consumer.SimpleConsumer.<i
浏览 0
提问于2018-04-06
得票数 0
3
回答
当
Kafka
Producer没有发送
消息
时,如何
保存
到本地存储
消息
?
、
、
我和Kakfa Producer有120个数据生产者,他们每秒发送
消息
,有些有敏感的数据(我的意思是,我们必须发送是或是),而且这些生产者有时可能关闭或失去互联网连接,所以我需要生产者
中
的容错。我知道有发送数据的方式,同步和异步,他们坚持尝试发送数据并将其
保存
在内存
中
,但如果我想将其
保存
在磁盘
中
而不是缓冲内存
中
,我们如何做到这一点。如果
消息
没有发送,我们如何在磁盘中
保存
它们?当
Kafka
生产者抛出异常时,我们如何控制
浏览 0
提问于2020-03-05
得票数 0
2
回答
如何在reactive
kafka
0.8.2.2
中
重新运行失败的
消息
、
、
、
我想重新发布x次处理失败的
消息
。我看到了手动提交代码:Source.fromPublisher(consumerWithOffsetSink.offsetCommitSink) // stream back for commit但是,如何处理processMessage()方法
中
的异常呢我想要处理异常,并要求
kafka
重新运行
浏览 0
提问于2017-12-16
得票数 2
3
回答
kafka
在
大数据集群
中
的用途是什么?
、
、
、
、
我使用了Apache
Kafka
和zookeeper。但是我仍然不了解它在集群
中
的用法。何时两者都是必需的,目的是什么?
浏览 0
提问于2015-10-28
得票数 0
1
回答
如何使用Apache
Kafka
中
的数据
、
、
参与一个粉笔,上面写着:您的第一步--使用Apache
中
的数据示例。所以他们给了我主题名,API_KEY和API_SECRET。还有引导服务器。
浏览 1
提问于2020-11-03
得票数 0
回答已采纳
1
回答
读取Apache
Kafka
中
的
消息
偏移量
、
、
、
我对
Kafka
非常陌生,我们使用的是
Kafka
0.8.1。 我需要做的是从topic消费一条
消息
。为此,我必须用Java编写一个使用者,它将使用topic
中
的
消息
,然后将该
消息
保存
到数据库
中
。
保存
消息
后,将向Java使用者发送一些确认
消息
。如果确认为true,则应从主题中使用下一条
消息
。如果acknowldgement为false(这意味着由于从主题中读取的某些错误
消息<
浏览 2
提问于2014-07-31
得票数 3
回答已采纳
1
回答
如何解决spring
kafka
中
的重平衡或重复记录问题
我总是为卡夫卡担心1.重复2.遗失记录return factory; 另外请确认,我是否需要在ConcurrentKafkaListenerContainerFactory
中
实现
浏览 1
提问于2019-11-18
得票数 0
1
回答
spark
中
查找数据的最佳选择
、
、
、
我需要读取
kafka
主题的
消息
,对数据集进行查找,然后根据查找数据的结果发送
消息
。下面的一个例子使这一点更加清晰。
Kafka
主题收到一条xml
消息
,该
消息
的字段messageID
保存
值2345。我们会进行查找,并确认以前没有发送过该ID的
消息
。如果返回false,则发送
消息
,然后将此messageID添加到查找数据
中
。如果这个messageID已经
在
查找数据
中
,我们就不会发送它。
浏览 0
提问于2018-10-19
得票数 1
回答已采纳
3
回答
Spring
Kafka
限制
在
一段时间内使用的
消息
数量
、
、
、
、
我有一个Spring应用程序,它听了Spring的一个
Kafka
主题。
在
使用
消息
之后,将使用
消息
中
的信息执行几次web/rest服务调用,以收集其他一些数据,这一过程需要一些时间才能完成。因此,我使用一个大小为20的线程池来创建并行
消息
处理。 这个系统通常运行良好,但很少有大量的
消息
(大约200 K)
在
短时间内(1秒)向
Kafka
主题发送/生成
消息
。在这种情况下,消费者会立即使用
消息</e
浏览 4
提问于2021-01-02
得票数 0
1
回答
Kafka
消费者,能够处理大量
消息
、
、
在一般情况下,
Kafka
的消费者可以是任何东西,连接到
Kafka
并获取
消息
。我对已知的
Kafka
消费者感兴趣有几个目的:2)处理
消息
并将结果
保存
到文件
中
谢谢。
浏览 4
提问于2015-07-29
得票数 0
1
回答
Kafka
未提交
消息
不会再次被消费
、
、
我正在处理
kafka
消息
,并使用spark streaming和手动偏移量提交插入到kudu表
中
。这里是我的代码。processed messages offsets for commit} 让我们
在
向kudu
中
插入数据时列出此示例,我得到了再次处理这些
消息
所需的错误,如果我停止作业并再次启动它,我能够获得未提交的
消息
我们不能在流
中
浏览 0
提问于2019-03-28
得票数 0
1
回答
吊舱接收流量,甚至库伯奈特战备探测失败
、
、
我观察到2)
无法
访问rest。 我认为如果吊舱的准备探测器失败了,应用程序既不能接收
kafka
消息
,也不能接收其余的请求。但是为什么
在
我的测试
中
,其余的请求和卡夫卡
消息
的处理方式不同。我的实际意图是使我的服务应用程序(
kafka
使用者)能够控制何时接收
kafka
消息
(以及REST请求)。例如,如果操作繁重
浏览 3
提问于2019-11-21
得票数 4
回答已采纳
1
回答
使用KafkaListener从
Kafka
消费最少N条
消息
、
、
、
我需要使用KafkaListener从卡夫卡消费至少N个
消息
一次 以下是消费者配置 Map<String, Object> props = new HashMap<>(); props.put
浏览 40
提问于2019-12-30
得票数 0
1
回答
卡夫卡机器重新启动后如何保留卡夫卡保留和卡夫卡保留段
、
我们将retention bytes值- 104857600设置为主题- topic_testUpdated config for topic "topic_testcversion = 0aclVersion = 0dataLe
浏览 2
提问于2020-07-22
得票数 2
回答已采纳
2
回答
如何通过卡夫卡传输大文件?
、
在
monolith
中
,潜在的大型文件存储在数据库
中
,我希望与微服务共享这些信息(包括文件内容)。我的方法是将文件分割成有编号的块,并发送几条
消息
(例如,带有元数据和id的一个FileCreatedMessage,后面是包含该块及其序列号的n FileContentMessage )。
在
接收端,
消息
可能不会按顺序到达。因此,我会存储
消息
块,订购并加入它们,并存储结果。有什么方法可以让我用一条
消息
或另一条信息通过
Kafka
传输数据,而不需
浏览 0
提问于2019-06-09
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka的启动速度
kafka入门篇(一)
Kafka 核心知识点灵魂 16 问
Spark Streaming+Kafka的offset管理方法
Kafka技术原理
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券