腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Go
Kafka
``ProduceChannel()‘填充并挂起
go
、
apache-kafka
、
kafka-producer-api
、
confluent-platform
它完美地运行了几天,产生了1.6K味精/秒,然后遇到了一个零星的问题,所有的
Kafka
消息
发送都停止了,服务器应用程序需要手动重新启动,以便
Kafka
消息
恢复发送。卡夫卡的
消息
一直在排队,但是回调停止了。 10:52:kafkaProducer.ProduceChannel()已被填满,并试图将新的
消息
排队到go通道中,
阻塞
goroutine。
kafka
消息
队列/发送恢复。
kafka
_prod
浏览 1
提问于2018-11-26
得票数 3
1
回答
Redis /
Kafka
-为什么流消费者会被屏蔽?
apache-kafka
、
redis-streams
Kafka
stream/redis stream是否适合反应式架构?我之所以这样问,主要是因为redis和
kafka
在消费
消息
时似乎都
阻塞
了线程。 这背后有什么原因吗?我希望我可以通过一些回调来读取
消息
--所以当
消息
以一种响应式的方式像pub/sub一样被传递时就可以执行了。而不是通过
阻塞
线程。
浏览 10
提问于2021-06-30
得票数 0
回答已采纳
1
回答
如果阻止先前的
消息
处理,则使用Spring侦听器注释的方法不会接收
消息
。
spring-boot
、
spring-kafka
在我的项目中,我使用Spring侦听器来消费来自
Kafka
的
消息
。我怀疑如果消费方法代码由于某种原因而被
阻塞
,并且永远不会返回,在这种情况下,这个侦听器是否能够接收到新的
消息
并继续进行下去,还是会挂起?在我的例子中,看起来,
Kafka
侦听器也被
阻塞
了,没有处理进一步的
消息
,甚至,同一组的另一个消费者也没有收到
消息
。
浏览 0
提问于2020-11-30
得票数 0
回答已采纳
2
回答
如何处理
Kafka
连接水槽中的背压?
apache-kafka
、
apache-kafka-connect
我们构建了一个自定义的
Kafka
Connect接收器,它反过来调用一个远程REST API。我如何将反压力传播到
Kafka
Connect基础设施,以便在远程系统比内部使用者向put()传递
消息
慢的情况下较少调用put()?
Kafka
connect文档说我们不应该在put()中
阻塞
,而应该在flush()中
阻塞
。但是在put()中不
阻塞
意味着我们必须缓冲数据,这肯定会导致OOM异常,如果put()调用比flush()更频繁的话。我已经看到,允许
kafka</
浏览 0
提问于2018-04-19
得票数 16
1
回答
寻找非
阻塞
的spring
kafka
ErrorHandler
spring-kafka
在使用SeekToCurrentErrorHandler之后,我正在寻找一个非
阻塞
的
kafka
ErrorHandler。由于某些子系统不稳定,我们需要将高间隔时间设置为5分钟或更长时间。我的想法是使用主题本身对失败的
消息
进行重新排队。但是具有两个附加的报头值
kafka
_try-counter和
kafka
_try-timestamp。报头并生成同一主题中的
消息
。使用的
kafka
_try-timestamp决定了
消息
的等待时间。如果它返回到fast,则它
浏览 1
提问于2020-03-11
得票数 0
1
回答
使用
Kafka
将web层与业务逻辑代码解耦
apache-kafka
[
Kafka
Topic] [Web Tier] -----renders HTML and sends
浏览 0
提问于2016-03-07
得票数 1
1
回答
logstash
kafka
的输出
apache-kafka
、
logstash
output { bootstrap_servers => "
kafka
" topic_id => "my-topic
浏览 15
提问于2021-02-26
得票数 0
1
回答
Kafka
-在
Linux
和Windows之间创建代理侦听器时出错
linux
、
windows
、
apache-kafka
我们正在尝试使用apache从
Linux
发送
消息
到windows;在操作系统和在各自本地主机上发生的
消息
传递中都配置了Zoo门将和
Kafka
;(org.apache.
kafka
.clients.producer.internals.ErrorLoggingCallback) org.apache.
kafka
.common.errors.TimeoutException:错误-当向主题my_topic发送<
浏览 3
提问于2020-10-12
得票数 0
1
回答
Kafka
-分区重新平衡和数据一致性
apache-kafka
、
kafka-consumer-api
我使用的是
Kafka
0.8.1。我正在使用一个带有多个分区的主题。避免处理分区的新节点和旧节点之间的竞争的最佳实践是什么?如果我使用auto.commit false,当有未提交的
消息
时,
Kafka
是否有一些保证不会重新平衡。 谢谢。
浏览 2
提问于2015-11-24
得票数 1
1
回答
Spring集成- ActiveMQ到
Kafka
spring
、
apache-kafka
、
spring-integration
、
activemq
、
spring-dsl
我目前正在尝试编写一个适配器,它将使用来自ActiveMQ的
消息
并将其发布到
Kafka
。ALso,另一个要求是仅当
kafka
发送/发布成功时才向活动mq发送确认。此外,他不想使用
Kafka
Connect,因为我计划使用
Kafka
连接源码。 请提个建议。
浏览 10
提问于2017-07-05
得票数 0
回答已采纳
2
回答
kafka
消费者迭代器是如何工作的
kafka-consumer-api
、
apache-kafka
我找到了这个代码,它成功地读取了
kafka
主题,并在屏幕上打印了每条
消息
。我想扩展它来对字符串执行其他操作,而不仅仅是在屏幕上打印。为此,我想了解一下迭代
消息
的while循环中发生了什么。它是查找下一条
消息
还是新
消息
列表。它什么时候能走出这个while循环呢?import
kafka
.consumer.ConsumerIterator; public class ConsumerTest
浏览 0
提问于2015-05-29
得票数 3
2
回答
kafka
IllegalStateError:生产者被强制关闭
python
、
python-3.x
、
apache-kafka
、
kafka-producer-api
我有以下代码: for(msg in messages): def
浏览 18
提问于2018-08-20
得票数 2
1
回答
为什么卡夫卡消费者被封锁直到超时,即使有
消息
?
spring-integration
、
apache-kafka
我使用的是高级客户端(遗留代码)和
kafka
。这是为什么,我怎么能解决这个问题?我感兴趣的是-有什么
消息
吗?往前走。<int-
kafka
:zookeeper-connect id="zookeeperConnect" zk-connect="#{kafkaConfig['zooKeeperUrl']}" zk-connectio
浏览 2
提问于2016-02-02
得票数 3
2
回答
kafka
消费者应用程序接口consumer.poll()不工作,没有错误,没有异常,只是
阻塞
java
、
apache-kafka
、
kafka-consumer-api
& 我运行了
kafka
-console-producer.sh和
kafka
-console-consumer.sh来生成和消费
消息
,并且成功了。我用producer API编写了一段java代码来生成
消息
,这是可以的。通过
kafka
-console-consumer.sh验证。没有例外,但它只是在consumer.poll(100)处
阻塞
。文档中的
kafka
-console-consumer.sh示例消费
消息
成功,
消息
由pro
浏览 9
提问于2017-07-09
得票数 4
1
回答
在golang或core.async中批处理输出通道中的项目
go
、
core.async
我有一个将
kafka
中的数据索引到elasticsearch中的用例。Elasticsearch有一个批量API,它将多个
消息
捆绑在一起,在一个API调用中进行索引。这比对每条
消息
逐条进行索引效率高得多。 我正在使用Clojure来做这件事。当然,我喜欢使用core.async,使用来自
kafka
的
消息
并输入到一个通道中,缓冲一段时间,或者当通道有足够的
消息
时,才在一个elasticsearch bulk API调用中对它们进行索引。问题是,只要有一条
消息
进来,通道的输
浏览 0
提问于2015-09-24
得票数 1
1
回答
卡夫卡挡住了
apache-kafka
、
micronaut
、
micronaut-kafka
在启动后第一次调用在
Kafka
上发送
消息
后,应用程序将
阻塞
创建一些beanAbstractKafkaProducerConfiguration。io.micronaut.context.DefaultBeanContext.getBean(Class) DefaultBeanContext.java:733 io.micronaut.configuration.
kafka
.intercept.KafkaClientIntroductionAdvice.lambdaKafkaClientIntroductionAdvic
浏览 6
提问于2020-12-11
得票数 0
回答已采纳
1
回答
中断行为-在使用新数据之前耗尽全部缓冲区
java
、
asynchronous
、
apache-kafka
、
disruptor-pattern
、
lmax
我们的入站
消息
是通过
Kafka
发送的,我们正在给
Kafka
回信。我们的架构是这样的:
Kafka
线程将
消息
推送到disruptor (
阻塞
等待策略,512大小),业务线程将
消息
从disruptor中取出进行处理。为了模拟负载,我们在
Kafka
主题(4个分区)中设置了应用程序未运行时的关闭500K
消息
。然后,我们启动应用程序来测量负载。
浏览 35
提问于2020-07-21
得票数 0
2
回答
卡夫卡流-重试一条信息
apache-kafka-streams
在依赖项不可用的情况下,我希望稍后重新处理
消息
。我无法控制偏移量,因为流是在内部进行的。要做到这一点,最好的办法是什么?
浏览 0
提问于2018-03-09
得票数 6
回答已采纳
1
回答
卡夫卡消费者不获取生产者共享的最新数据
kafka-consumer-api
import
kafka
.consumer.ConsumerConfig; import
kafka
.javaapi.consumer.ConsumerConnector"); // "org.apache
浏览 3
提问于2017-03-08
得票数 0
回答已采纳
2
回答
shell脚本中的
kafka
消费者
apache-kafka
、
kafka-consumer-api
我想在shell脚本中使用远程
kafka
消息
。基本上,我在
linux
机器上不能运行任何web服务器(一些奇怪的原因),我唯一能做的就是使用crontab/shell脚本来监听远程托管的
kafka
消息
。是否可以编写简单的shell脚本来使用
kafka
消息
,解析它并采取相应的操作。
浏览 1
提问于2016-03-24
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
从linux源码看socket的阻塞和非阻塞
消息队列之 Kafka
Kafka是批量发送消息的?
linux安装flume和集成kafka测试
Kafka分布式消息系统剖析
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券