腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6532)
视频
沙龙
3
回答
如何
使用
kafka-python
统计
主
题中
的
记录
(
消息
)
数量
python
、
apache-kafka
、
kafka-python
正如标
题中
所说,我想在我
的
主
题中
获得一些
记录
,但我找不到
使用
kafka-python
库
的
解决方案。有谁知道吗?
浏览 88
提问于2020-10-07
得票数 3
1
回答
无法
使用
``kafka python`轮询二进制
消息
python
、
apache-kafka
、
kafka-python
我有一个接收二进制数据(原始数据包捕获数据)
的
Kafka主题。我可以
使用
Kafka CLI工具确认它确实是登陆数据。我每秒都会收到多条
消息
。kafka-console-consumer.sh --zookeeper svr:2181 --topic test 但是当我
使用
kafka-python
时,我无法检索任何
消息
。consumer = kafka.KafkaConsumer("test", bootstrap_servers=["svr:9092&quo
浏览 18
提问于2017-03-15
得票数 2
1
回答
消费者Kafka通过
使用
python
的
Rest代理
python
、
docker
、
rest
、
apache-kafka
、
kafka-consumer-api
我正在通过docker
使用
kafka环境。它正确地上升了!我正在尝试阅读在流媒体上收到
的
所有
消息
! 有什么改正
的
建议吗?
浏览 100
提问于2021-05-18
得票数 0
回答已采纳
1
回答
一个主题
的
多个侦听器
如何
在Activemq中工作?
java
、
spring-boot
、
activemq
、
publish-subscribe
我
使用
的
是一个ActiveMq嵌入式代理。我用
的
是酒吧/子模式。我有多个听众订阅了这个主题。我正在
使用
默认
的
消息
侦听器容器。 因此,我开始获得有关主题和订阅者
的
统计
数据。主
题中
消息
数量
的
统计
始终是零。所以现在我把消费者
的
统计
数据拿到目的地。目的地是我正在
使用
的
主题。那么,整个过程是<
浏览 1
提问于2017-10-20
得票数 0
1
回答
KeyError: kafka.producer.record_accumulator.RecordBatch
python
、
asynchronous
、
apache-kafka
、
send
、
keyerror
使用
kafka-python
向主题发送大量
消息
。成功地将部分
消息
发送到主题,但并非所有
消息
都是在程序以下列错误
消息
终止之前发送
的
:在我
的
主
题中
,每次运行都会收到不同
数量
的
消息
。问题似乎是,卡夫卡pr
浏览 0
提问于2017-10-10
得票数 1
1
回答
有没有办法在python中
使用
多进程来读取kafka主
题中
的
大量
消息
?
python
、
multithreading
、
apache-kafka
、
multiprocess
、
kafka-python
我正在尝试从最早
的
偏移量中读取卡夫卡主题,然后通过python脚本对某些
记录
进行墓碑。由于
消息
数量
巨大(百万+),我希望利用多处理来使脚本在
使用
消息
时更快。下面是脚本中
的
一段代码: # Declarationsenable_auto_commit=True) f
浏览 71
提问于2021-02-19
得票数 0
1
回答
触发器
统计
自身关系salesforce中
的
记录
triggers
、
salesforce
、
apex
我有一个名为"Property_Assignment__c“
的
对象,它有两种
记录
类型。现在,如果我在“二级属性分配”
记录
类型中创建任何
记录
,那么我需要计数并保存在“
主
属性分配”中
的
"Number_Of__Dependents“字段中。如果可能的话,有人能帮我解决这个问题吗?
浏览 16
提问于2019-01-04
得票数 0
2
回答
kafka-python-2.0.1大数据集
的
性能
python-3.x
、
apache-kafka
、
kafka-consumer-api
、
kafka-python
我正在
使用
kafka-python-2.0.1来消费来自kafka代理
的
数据。到目前为止,我只运行了一个消费者实例。我们每5分钟就会收到2M条
记录
。我注意到
kafka-python
不能以更快
的
速度读取数据以及时消费所有
消息
。我是
kafka-python
的
新手,不确定
如何
实现才能更快地读取数据。我应该运行多个
使用
者吗?
浏览 31
提问于2020-11-06
得票数 0
1
回答
如何
在很短
的
持续时间内处理突发
的
流数据
streaming
、
spark-streaming
、
google-cloud-dataflow
、
apache-beam
、
data-processing
我们想开发一个系统,可以处理突发
的
流数据,1M事件/秒,持续1分钟,然后负载将显着降低到100/秒。 这些1分钟
的
数据突发每天可能发生5-10次,我们需要聚合(简单分组)数据并将其转储到另一个服务。在这里,最小成本和最大吞吐量
的
最佳arch是什么?我看过google pubsub/p + google dataflow + apache beam,但这似乎需要很长时间才能实现自动扩展。欢迎提出进一步探讨
的
建议。
浏览 1
提问于2020-10-14
得票数 0
7
回答
统计
存储在kafka主
题中
的
消息
数
apache-kafka
、
kafka-consumer-api
、
jms-topic
我
使用
的
是0.9.0.0版本
的
Kafka,我想在不
使用
管理脚本kafka-console-consumer.sh
的
情况下
统计
主
题中
的
消息
数量
。我已经尝试了answer 中
的
所有命令,但没有一个命令产生结果。有人能帮我吗?
浏览 44
提问于2017-01-22
得票数 28
1
回答
Websphere
如何
找到通过队列管理器传递
的
消息
总数
ibm-mq
是否有一种方法可以找到在特定时间内通过队列管理器传递
的
消息
总数?
浏览 3
提问于2014-09-26
得票数 3
回答已采纳
0
回答
如何
通过PowerShell脚本标签
统计
私有队列中
的
消息
powershell
、
msmq
、
windows-server-2012-r2
我有Scribe Insight服务器,它
使用
三个私有队列(scribedeadmessage,scribein和scriberetry)。我知道
如何
使用
PowerShell
统计
每个队列中
的
消息
数量
,但我想
使用
PowerShell根据
消息
标签来
统计
每个队列中
的
消息
数量
。
浏览 5
提问于2017-01-06
得票数 1
2
回答
ntpd日志文件位于何处,
如何
配置ntpd日志文件路径?
linux
、
logging
、
ntpd
我在默认情况下将ntpd作为我
的
linux服务器上
的
守护进程来处理,但是我们应该在哪里查找日志文件呢?日志文件是否正常,如果没有,我们
如何
配置它?
浏览 0
提问于2012-02-14
得票数 8
1
回答
将应用推送到erlang从节点
logging
、
mapreduce
、
erlang
、
distributed
、
master-slave
它
使用
在
主
服务器上
记录
消息
,客户端向
主
服务器发送日志
消息
,
主
服务器
记录
这些
消息
。 问题在于,这些
消息
的
数量
和大小可能会增长并增加网络
使用
率。相反,我希望将从节点上
的
日志写入本地,而不是推送到
主
节点,除非日志
消息
的
“级别”高于某个级别(例如,错误或警报,但不是警告)。我尝试在从节点上启动一个独立
浏览 0
提问于2014-01-16
得票数 2
1
回答
当有
消息
写入Kafka主题时,FlinkKafakProducer
的
numRecordsOut总是显示0
apache-kafka
、
apache-flink
、
flink-streaming
我设置了一个Flink工作,向Kafka主题写一些
消息
。它
使用
FlinkKafakProducer作为接收器。我验证了输出Kafka主
题中
写入了
消息
,但Flink指标numRecordsOut始终显示0。同样,在Flink Web UI中,发送
的
字节也始终显示0B。
记录
输出
数量
不能反映实际
数量
的
原因是什么?
浏览 20
提问于2019-03-28
得票数 1
回答已采纳
2
回答
如何
使用
Java查找主
题中
显示
的
消息
数量
、为主题提供
的
分区数?
java
、
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我有一个kafka主题,在这个主
题中
,我必须
使用
Java查找主
题中
显示
的
消息
数量
和出现在主
题中
的
分区数
浏览 5
提问于2021-07-28
得票数 0
回答已采纳
1
回答
使用
Kafka偏移量计算书面
消息
统计
数据
apache-kafka
我想从卡夫卡
的
主
题中
得到一些
统计
数据: 在过去
的
12小时里,最后一小时
的
书面信息,.我是否可以有把握地假设,读取给定时间戳
的
主
题中
的
每个分区
的
偏移量(
使用
getOffsetsByTimes)应该会给出在特定时间内写入
的
消息
的
数量
?我可以把每个分区
的
所有偏移量加起来,然后计算时间戳1和时间戳2之间
的<
浏览 1
提问于2019-01-17
得票数 0
回答已采纳
2
回答
是否有办法显示在谷歌Hangout中发送
的
单个
消息
的
总数?
google-hangouts
我
使用
谷歌Hangout
的
数量
相当荒谬,我想知道是否有一种方法可以显示用户之间在Hangout对话中发送了多少个单独
的
消息
。这有可能吗?如果是的话,我怎么做呢?
浏览 0
提问于2015-03-03
得票数 3
1
回答
时间间隔内
的
MySql
统计
mysql
、
statistics
我有一个表,其中
记录
了一些任务
的
执行情况。在一列中,我显示执行
的
结果,或者如果执行不成功,我会显示一条错误
消息
,例如:"Error X:.“。我还有一个列,在其中我保存了执行
的
日期。我已经执行了几个月
的
任务了。现在,我需要对过去几个月
的
错误
数量
和成功任务
的
数量
进行
统计
。这是
如何
做到
的
呢? 谢谢
浏览 1
提问于2016-03-24
得票数 0
回答已采纳
2
回答
如何
在某个组
的
Kafka主
题中
获得未读
消息
的
计数
python
、
apache-kafka
我知道,卡夫卡应该被当作一个无限
的
事件流来处理,而获取剩余
的
信息计数并不是一个内置
的
功能。但是,我必须以某种方式监视,我
的
消费者流程是
如何
运行
的
,以及我是否为它们提供了足够
的
资源。总体情况是基本的卡夫卡用法,几个不同服务器上
的
生产者插入到一个主
题中
,消费者在group_a中读取
消息
,执行一些AI内容,并插入到另一个主
题中
进行进一步处理。传入
消息
的
速率绝不是恒定或可
浏览 5
提问于2021-10-27
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python操作分布式流处理系统Kafka
Kafka使用及Python示例
协议营销——如何做好微信代理群的运营?
企业微信能管理员工到什么样的程度?
什么是微信协议,一般有什么功能?
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券