腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Java
kafka
客户端
记录
每个
线程
的
所有
配置
java
、
logging
、
apache-kafka
、
consumer
我有一个
java
客户端
(使用
kafka
客户端
版本2.4.1),它连接到一个
kafka
(版本2.4.1),其中有5个主题,
每个
主题5个分区。我正在为
每个
分区创建一个
线程
。我
的
问题是,对于
每个
线程
,
所有
的消费者
配置
都会被
记录
下来: ? 首先,我想知道这是否是正常行为(因为我有25个
线程
,我看到
的
是这些日志
浏览 6
提问于2020-04-07
得票数 1
回答已采纳
1
回答
卡夫卡坚持使用num.stream.threads和max.poll.record
apache-kafka
、
apache-kafka-streams
我有一个
Kafka
消费者,
配置
如下。num.stream.threads=10 max.poll.record=90 是消费者消费了10个
线程
的
topic中
的
90条
记录
,还是消费者中
的
10*90=900消息。
浏览 1
提问于2020-07-02
得票数 0
1
回答
将多个源流连接到同一组分支
java
、
java-8
、
apache-kafka
、
apache-kafka-streams
假设我有多个应用相同谓词集
的
源流。我希望设置分支流,以便满足谓词
的
记录
,无论哪个源流,都由同一个分支流处理。如下图所示,
每个
分支流都像一个通用处理器,它转换传入
记录
。 平均分配消息数量
的
分支。但是,如下面的代码块所示,
所有</
浏览 0
提问于2018-11-24
得票数 0
回答已采纳
1
回答
批量
记录
处理后如何提交
kafka
偏移量
java
、
performance
、
spring-kafka
我正在使用spring-
kafka
和消费卡夫卡主题
的
批量
记录
,并通过AbstractMessageListenerContainer.AckMode.BATCH提交偏移量。在我
的
例子中,处理批处理
记录
需要时间(大约20秒),使用者
线程
等待批处理过程完成,然后再次执行轮询(在此轮询时提交偏移量)。在本例中,我将
记录
的
List分配给一个
线程
(名称:ProcessThread),该
线程
将处理
所有
记
浏览 6
提问于2018-10-03
得票数 1
2
回答
不同
线程
使用
Kafka
Producer
apache-kafka
、
kafka-producer-api
我有
Kafka
生产者为我
的
基于
java
的
web应用程序,以推送消息到
kafka
。根据文档,我可以看到
kafka
producer是
线程
安全
的
。这是否意味着我可以拥有
Kafka
producer
的
单个实例,并由不同
的
线程
( web请求)使用它,在我
的
情况下,
每个
线程
都会打开和关闭producer。这会产生什么问题吗?或者更好<em
浏览 2
提问于2016-03-24
得票数 17
回答已采纳
2
回答
Kafka
消费者是否可以并行处理多个消息
apache-kafka
、
rx-java
、
kafka-consumer-api
我想知道是否有可能读取和处理多个消息由
Kafka
消费者(
Java
客户端
)并行..I意味着使用多
线程
...我应该使用rxJava吗??3)并希望使
Java
客户端
作为守护服务运行在Linux中,这样它就可以连续运行,轮询
Kafka
的</em
浏览 0
提问于2016-02-24
得票数 0
1
回答
Kafka
心跳
线程
阻塞
java
、
apache-kafka
、
apache-camel
我们有一个WebSocket服务器,它为
每个
WebSocket
客户端
创建一个单独
的
消费者组,这样
每个
WebSocket用户就可以相互独立地接收来自
Kafka
主题
的
更新。我们使用camel API来创建
Kafka
消费者(组),它使用了
Kafka
原生
Java
API,所以这与Camel没有任何关系,但提到camel只是一个FYI。通过使用JMX和JMC监控,我们发现
Kafka
心跳
线程
被阻塞,并且对于每次
浏览 1
提问于2018-11-06
得票数 1
1
回答
安装
客户端
SASL身份验证以连接两个不同
的
kafka
集群
java
、
apache-kafka
、
jaas
、
sasl
我有spring引导应用程序,它连接到我
的
kafka
集群。应用程序(如
kafka
客户端
)使用SASL身份验证,在初始化
kafka
生产者和使用者之前,我通过System.setProperty()指定了JAAS
配置
。它很好地工作在单卡夫卡集群设置。(别人
的
)
kafka
集群,它与我
的
kafka
集群完全断开连接。第三方
kafka
集群也使用SASL身份验证。
java
应用程序如何连接到两
浏览 3
提问于2020-07-22
得票数 2
回答已采纳
1
回答
KafkaConsumer listTopics()方法是
线程
安全
的
吗?
apache-kafka
、
kafka-consumer-api
我在本地测试了它,发现虽然轮询不能从多个
线程
调用,但listTopics()和metrics()方法可以工作。这是否意味着从多
线程
调用这些方法是可以
的
?我想与这里
的
专家确认,以避免生产中
的
任何问题
浏览 3
提问于2020-05-04
得票数 2
1
回答
线程
配置
spring-integration
、
apache-kafka
我使用了SpringIntegration-
Kafka
1.1.0和下面的
配置
。我不太理解streams
配置
。当我增加这个值时,Spring会自动生成更多
的
线程
来处理消息吗?例如,当我有streams=2时,相关
的
转换器和服务激活器是否都在两个
线程
中运行?我想错过一些
线程
执行器
配置
,但不确定怎么做。任何暗示都是感激
的
。谢谢。 <int-
kafka
:consumer-co
浏览 2
提问于2015-04-17
得票数 2
1
回答
扩展
Kafka
Connect以处理10K S3存储桶
amazon-s3
、
apache-kafka
、
apache-kafka-connect
、
scalability
理想情况下,
每个
存储桶
配置
都应该有自己
的
轮询间隔(扫描新文件
的
频率-至少60秒,但可能更长)和优先级(正在处理
的
并发文件
的
数量)。请注意,由于
每个
存储桶
所有
者
的
组织中存在各种IT策略,因此无法设置从
每个
S3存储桶到SQS/ in /Lambda
的
通知。将
每个
S3存储桶
配置
为其自己
的
连接器将允许我为
每个
任务设置
浏览 49
提问于2021-07-28
得票数 2
1
回答
配置
Apache
的
.NET生产者
客户端
以处理大消息时出错
.net
、
apache-kafka
、
kafka-producer-api
我用
的
是。 Apache文档向我们介绍了生产者
的
这个属性: 以字节为单位
的
请求
的<
浏览 1
提问于2017-04-02
得票数 1
回答已采纳
1
回答
消息驱动体系结构和水平缩放
java
、
microservices
、
message-queue
在微服务事件驱动体系结构中处理宠物项目期间,我遇到了向
客户端
交付响应
的
问题。
每个
微服务(API、网关等)都有许多副本,并有自己
的
负载均衡器(Kubernetes服务)。网关保持连接(长轮询)数据处理器订阅"registerAccount“主题。onMessage()注册帐户并将新帐户
的
ID推回卡夫卡,主题为"newAccountId“ API网关
浏览 0
提问于2016-11-18
得票数 4
回答已采纳
1
回答
在卡夫卡消费者中,什么能导致“没有得到补偿”呢?
apache-kafka
、
kafka-consumer-api
org.apache.
kafka
.common.errors.TimeoutException:305000毫秒是还是试着找出答案
的
步骤?我在不同
的
机器上有3个进程,使用最新
的
Java
客户端
版本0.10.2.0。每台机器运行20个
线程
,
每个
线程
有一个单独
的
使用者。根据设计,当一个
线程
死掉时,
浏览 2
提问于2017-07-05
得票数 14
2
回答
每个
主题只限于一个接收器任务
的
Kafka
连接连接器
apache-kafka
、
apache-kafka-connect
我正在运行一个集群(本地与一个工人码头组合)与我自己
的
自定义Sink插件。我想在连接器中使用几个主题:topicA, topicB, topicC,
每个
分区都有一个分区。连接器启动时
的
配置
子集如下:"topics": "topicA,topicB,topicC",...使用这种
配置
,我希望
Kafka
为
每个
接收器任务分配一个主题,但是唉,这不是我所看到
的</em
浏览 7
提问于2022-05-24
得票数 1
回答已采纳
2
回答
Apache Storm:如何从
Kafka
Spout微批处理事件
apache-kafka
、
apache-storm
我如何在
kafka
中使用微批处理事件来减少随后
的
螺栓中
的
IO调用?期望是:使用
kafka
中
的
事件发出一个最大大小为100
的
批次,但最多等待1秒来形成该批次。如果在1秒内没有足够
的
事件,则发出可用
的
事件。 我可以通过"source.groupedWithin“方法在Akka中实现同样
的
效果。我如何用
kafka
spout做同样
的
事情?
浏览 16
提问于2019-08-23
得票数 1
回答已采纳
2
回答
Spring Boot +
Kafka
+ Kerberos
配置
spring-boot
、
apache-kafka
、
kerberos
、
spring-kafka
这些是我为
Kafka
使用
的
依赖关系: <groupId>org.springframework.integration</groupId</artifactId> </dependency> 我必须向不属于我们管理
的
Kafka
服务器发送消
浏览 4
提问于2019-02-20
得票数 3
回答已采纳
1
回答
如何提高NiFi性能
multithreading
、
memory-management
、
apache-nifi
、
opc-ua
我有一个问题,重新评估Apache NiFi
的
性能。我正在运行一个OPCSubscriber,每秒向Apache
Kafka
发送20000个文件流。Nifi服务器无缘无故崩溃。我通过在引导
配置
中增加JVM内存部分解决了这个问题: # JVM memory settings
java
.arg.3=-Xmx6g 以及将为publishkafka进程分配
的
线程
从1个增加到1024个。但是,我仍然不能获得高吞吐量,因为队列
的
浏览 40
提问于2019-05-16
得票数 0
1
回答
卡夫卡流: NUM_STREAM_THREADS_CONFIG >1是否破坏分区
的
总顺序?
apache-kafka
、
apache-kafka-streams
这里我们要说
的
是:我得到了非常复杂
的
各种联接、聚合、过滤器、映射等拓扑结构。通过删除NUM_STREAM_THREADS_CONFIG参数等于1,这在定义上是完全确定性
的
--因此,分区
的
全序(由
Kafka
本身保证)保持不变。取决于特殊
的
拓扑结构吗?我已经检查了文档并浏览了
线程
模型部分,但是没有找到答案。
浏览 2
提问于2020-06-03
得票数 1
回答已采纳
1
回答
当与
kafka
或其他框架一起使用时,是否存在JAAS / SASL / PLAIN / SCRAM
的
安全架构图?
apache-kafka
、
jaas
、
java-security
、
sasl
我不是专家,但我知道身份验证机制通常与
kafka
一起工作。
kafka
的
常见用例/实现使用SASL Plain或SASL SCRAM,即sasl.jaas.config = org.apache.
kafka
.common.security.scram.ScramLoginModule requiredusername pass
浏览 3
提问于2021-06-12
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
玩了分布式这么久,你不会连Kafka都不清楚吧
Kafka的三种客户端线程模型和一个小惊喜
初探Kafka Streams
CDP中Kafka配置
Kafka集群部署
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券