腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka-node
突然从偏移量0开始消耗
、
、
、
有时,
kafka-node
消费者
从偏移量0开始消费,而它的默认行为是只消费较新的
消息
。则它将不会切换回其默认行为。你知道如何解决这个问题吗?知道发生了什么,它的行为突然改变了吗?var
kafka
= require("
kafka-node
") ; client = new
kafka
.KafkaClient();; consumer.on("message", f
浏览 5
提问于2020-01-31
得票数 3
1
回答
kafka
消费者
组
在
kafka-node
中
获取
重复
消息
、
、
我正在尝试为节点中的应用程序设置
Kafka
队列。我
在
消费者
组
中有3个
消费者
,并且订阅了单个主题,但是当生产者向具有3个分区的主题发送
消息
时,接收
重复
消息
的
消费者
组
从partition1读取并
获取
消息
,而consumer2也从相同的分区读取并
获取
相同的
消息
用于创建
消费者
组
的选项如下所示 consumerO
浏览 10
提问于2019-09-03
得票数 2
1
回答
使用
kafka-node
创建的
消费者
和生产者无法连接到
kafka
的工作实例
、
、
我尝试通过
kafka-node
npm库使用consumer和producer,以便通过nodejs使用
kafka
作为
消息
服务。问题是,尽管我的生产者有时会工作,但
消费者
总是给我超时错误,或者它只是
在
无休止的循环中尝试连接到
kafka
,即使tought也工作得很好。当
Kafka
在
远程centos7机器上时,我
在
windows机器上使用
kafka-node
。我试着
在
kafka
内置的生
浏览 56
提问于2019-06-19
得票数 3
1
回答
NodeJS
Kafka
消费者
收到
重复
的
消息
?
、
、
我
在
NodeJS应用程序中使用
Kafka-Node
来产生和使用
消息
。我启动了一个等待我的主题的
消费者
。然后启动producer并将
消息
发送给
Kafka
。我的客户正在将这些
消息
中
的每一条都插入Postgres数据库。当我停止
消费者
并继续生产时,我
在
大约30秒后重新启动
消费者
。我注意到大约有十几条
消息
已经从原始
消费者</em
浏览 21
提问于2019-07-11
得票数 1
2
回答
如何在NodeJS
Kafka
消费者
中直接
获取
上一个偏移量或过滤偏移量
我
在
Kafka
NodeJS中使用了一个简单的
消费者
/生产者。我的生产者正在发送
消息
,我很容易
在
消费者
中
获得这些
消息
。生产者和
消费者
的代码如下。
在
消费者
中
,我期望offset.fetch()给我今天的所有偏移量it,但它没有。KIndly指导我如何从这个方法
中
获得结果,并且还提到了一个方法,它可以直接给出任何分区主题中的最后一个偏移量。我还想知道如何过滤
浏览 1
提问于2015-07-29
得票数 3
1
回答
Kafka
消息
因
消息
延迟丢失
、
、
、
所以我从我的
kafka
用户那里得到了一些恼人的补偿提交案例。我
在
我的项目中使用'
kafka-node
‘。我创建了一个主题。
在
超过2台服务器的
消费者
组
中
创建了2个
消费者
。自动提交设置为false。对于我的
消费者
得到的每个
消息
,他们开始一个异步进程,这可能需要1到20秒,当进程完成时,
消费者
提交偏移量。我的问题是:有一个传感器,
消费者
1收到一条
消息
,需要20
浏览 2
提问于2019-05-17
得票数 0
5
回答
我能限制卡夫卡节点
消费者
的消费吗?
、
似乎我的卡夫卡节点
消费者
:var consumer = new Consumer(client, [], {
在
某些情况下我处理不了太多的
消息
。是否有办法限制它(例如,每秒接受不超过1000条
消息
,可能使用暂停api)? 我使用的是
kafka
节点,与Java版本相比,它似乎有一个有限的api。
浏览 14
提问于2016-07-23
得票数 6
2
回答
如何使用
Kafka
节点从
kafka
主题中删除
消息
、
、
我创建了一个生产者和一个
消费者
,使用“
Kafka
节点”包发送和消费来自
kafka
主题的信息。生产者和
消费者
通过API调用。POST方法用于向主题发送
消息
,而GET方法用于
在
使用者处从主题
获取
消息
。当我
在
向
KAFKA
发送
消息
之后调用消费API时,所有以前的
消息
都在consumer.on('message', function(message){})
中</e
浏览 6
提问于2021-12-15
得票数 0
1
回答
将信息从
kafka
消费者
推送到mongodb
、
、
、
、
我
在
活动上用“
kafka
-node”创建了
kafka
消费者
。.MongoClient, assert = require('assert'); console.log('message' + database)
浏览 0
提问于2019-04-03
得票数 0
回答已采纳
3
回答
Node.js:如何使用
kafka-node
从主题开始拉取
消息
?
、
我跟随
在
Ubuntu14.04服务器上安装了
Kafka
。为生产者和
消费者
提供的示例运行良好。下面是生产者命令:下面是
消费者
的命令: ~/
kafka</
浏览 2
提问于2016-06-08
得票数 2
回答已采纳
1
回答
Apache
Kafka
节点js和点对点工作流
、
、
因此,我刚刚开始探索
kafka
(使用节点js),并且使用
kafka
节点模块与
kafka
交互。我刚刚编写了一些测试
消费者
代码(见下文)。当我运行这个使用者代码的多个实例并将新
消息
推送到一个主题时,所有使用
浏览 0
提问于2017-06-10
得票数 0
回答已采纳
2
回答
如何使用
kafka-node
从topic
中
读取数据?
、
、
、
我有一个主题,我必须从
kafka
服务器读取,所以我只需要创建
消费者
,可以从
kafka
主题读取数据,我总是得到错误主题不存在。main.jsvar config = require('./config.js'); var kafkaCon
浏览 3
提问于2016-06-21
得票数 2
回答已采纳
1
回答
阅读卡夫卡主题信息的正确方法
、
我正在使用快捷和卡夫卡节点构建一个简单的node.js API,
在
收到请求时返回来自请求的主题和使用者
组
的未读
消息
,然后关闭连接。我不需要也不希望
消费者
继续等待新的信息。
在
kafka
节点中,检查主题是否已经结束,如果是,关闭与代理的连接并退出应用程序,以防止新
消息
被读取的正确方法是什么? const
k
浏览 1
提问于2019-05-29
得票数 0
回答已采纳
3
回答
用react阅读卡夫卡的主题
、
、
我首先会说,如果这个问题看起来很普通,我很抱歉,但我
在
解决这个问题上遇到了麻烦。所以我在这里试一试。我想用react构建一个
kafka
主题的
消费者
,这样每当我的主题中有新的
消息
时,它就会呈现出我不知道的东西,比如网格。我已经有了
消费者
的代码:Consumer =
kafka
.Consumer, client = new
kafka
.Client
浏览 1
提问于2015-09-15
得票数 10
回答已采纳
1
回答
如何使用
kafka-node
控制消费的
kafka
消息
的提交
、
、
我第一次
在
kafka
中使用Node,使用的是
kafka-node
。消费
消息
需要调用外部API,这甚至可能需要一秒钟的响应时间。我希望克服我的
消费者
的突然故障,如果一个
消费者
发生故障,将取代它的另一个
消费者
将收到相同的
消息
,即其工作尚未完成。 我正在使用
kafka
0.10,并尝试使用ConsumerGroup。我考虑
在
options
中
设置autoCommit: false,并仅在
消息</em
浏览 0
提问于2016-10-18
得票数 4
6
回答
kafka
节点,
消费者
总是收到旧
消息
、
、
即时通信使用
kafka-node
模块你知道我如何向服务器声明我消费了一条
消息
,而在我重启consumer时他不再发送给我吗生产者代码var HighLevelProducer =
kafka
.HighLevelProducer; var Client= require('
ka
浏览 15
提问于2014-11-04
得票数 5
3
回答
卡夫卡
中
的"__consumer_offsets“主题是什么?
从名称上看,它意味着它与
消费者
偏移量有关,但它是如何使用的呢?$ bin/
kafka
-topics.sh --list --zookeeper localhost:2181 __consumer_offsets test这发生在
Kafka
1.1.0
中
,以及为什么有50个
浏览 5
提问于2018-12-13
得票数 3
1
回答
kafka
客户端正在发送请求到代理被关闭的分区。
、
、
、
我正在使用
kafka
节点模块向
kafka
发送
消息
。
在
集群环境
中
,我有一个主题,其中有3个分区,复制因子为3。当我遵循下面的步骤
kafka
:9093send
获取
连接到
kafka
:9092的HighLevelProducer实例,a message 停止
kafka
-server:9092手动,然后用HighLevelProducer发送另一条
消息
,并发送()将触发回调,错误为: TimeoutError:请求超时后3
浏览 3
提问于2019-09-23
得票数 1
1
回答
在
kafka
上的单个
消费者
中
消费多个主题
、
、
、
有没有办法让
kafka
在
一个
消费者
身上拥有多个主题?这是我的
消费者
代码,它可以很好地处理单个主题 let consumer = new Consumer( [{ topic: '1234', offset:); console.log( '
kafka
浏览 36
提问于2019-06-26
得票数 1
回答已采纳
1
回答
Kafka
Node -如何检索压缩主题上的所有
消息
、
我正在尝试使用
kafka-node
来读取来自
kafka
主题的压缩
消息
。
kafka
-topics.sh --zookeeper ${
KAFKA
_HOST}:2181 --create --topic atopic --config
浏览 2
提问于2018-08-25
得票数 0
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
腾讯会议
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券