腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在Kafka
消费
者中实现并发
、
、
、
我们正在努力并行我们的Kafka
消费
者,以处理更多数量的
记录
来处理峰值负载。我们已经在做的一种方式是通过在同一
消费
者组中旋转尽可能多的
消费
者和分区。我们的
消费
者负责进行
API
调用,到目前为止,它是同步的。我们觉得让这个
API
调用异步会让我们的
消费
者处理更多的负载。因此,我们尝试使
API
调用异步,并在其响应中增加偏移量。然而,我们看到了一个问题: 通过将
API
调用设置为异步,我们可以首先获得最后一条
记录</em
浏览 2
提问于2019-06-19
得票数 2
1
回答
使用Ruby on Rails的第三方
api
、
、
我正在尝试使用第三方
api
并将其存储在数据库中。然后,我想将我自己的
api
暴露给一些私有应用程序(web、移动等)。
消费
和存储第三方
API
内容的原因是因为
api
对每天和每秒的调用次数有严格的限制。在我的项目中,我应该把
消费
和调度
api
消费
的代码放在哪里?我使用httparty获取
api
内容,并计划将该数据映射到活动
记录
。
浏览 1
提问于2013-03-10
得票数 0
回答已采纳
2
回答
如何在一个
API
调用中从Kafka发送和取回数据
我想在一个
API
调用中从Kafka发送和取回数据(见下图)。这个是可能的吗?我已经知道如何使数据朝一个方向发展(例如,使用Kafka
消费
API
来读取数据)。我还知道如何通过两种单向方法来“伪造”(例如,网络应用程序既是生产者又是
消费
者)。然而,当web应用程序调用
API
时,我只想让它处理自己的
记录
,而不是主题中的所有
记录
,因此这似乎是错误的方法。每次我打电话给卡夫卡制作人时,都要创造出短暂的/临时的
消费
者。临时用户将过滤掉所有的<
浏览 3
提问于2015-06-17
得票数 4
2
回答
Kafka -本地状态存储是否消耗应用程序内存(JVM)
、
、
、
我有一个
消费
者
API
线程运行在我的应用程序中(运行在不同的节点上),我的目标是
消费
来自Kafka的传入
记录
,它将具有唯一的id作为键。寻找一个选项来存储由Kafka
消费
者
API
处理的
记录
,以便我的订单可以使用它来显示。 计划在Kafka broker上使用Stream
API
处理并创建Ktable。如果是这样的话,是不是就像是临时的,
记录
一处理就会释放内存?尝试避免应用程序中的任何内存问题,并查看哪个状态存储选项最适合我的用例。非常感
浏览 3
提问于2020-07-20
得票数 0
1
回答
使用webservice恢复可
消费
的应用程序内采购
、
、
、
、
我们正在为应用程序中的产品使用后端服务,并为动态内容(添加在后端并同步到应用程序中)使用应用内消耗品映射方案,这样添加到后端的新内容可以与应用程序购买中的固定价格相匹配,这样我们就不必在后端添加新项目时添加带有itunes连接的新对象。但是,如何才能对产品进行修复(因为苹果公司要求这样做)?是否有可能将事务的接收发送到后端并使用它进行还原?这里有谁有类似解决方案的经验吗?
浏览 2
提问于2017-02-22
得票数 3
回答已采纳
1
回答
metrics.num.samples kafka设置如何影响
记录
-滞后-最大值的计算方式?
、
、
当通过kafka consumer
API
检索
消费
者指标时,即使使用kafka- consumer -groups.sh工具描述
消费
者组,
记录
-滞后-最大值偶尔也会返回0。metrics.num.samples如何影响
记录
-滞后-最大值的计算?
浏览 29
提问于2019-10-25
得票数 0
回答已采纳
1
回答
WSO2: APIM日志
、
、
我有一些用户和一些由用户创建的
API
。例如,用户之一登上了提供天气信息的免费
API
之一。另一个用户从商店订阅了它,并开始
消费
它。在一天结束的时候,大约有20次来自用户的点击来
消费
天气
API
。但是,在这20次命中中,有2次命中没有从天气
API
URL (我们在生产中配置的URL和发布者的沙盒URL)获取任何结果,因为连接断开了,但由于APIM正在运行并允许用户
消费
,日志
记录
继续并为用户生成了如何克服这种情况,在这种情况下,
API
是外部的
浏览 13
提问于2019-03-15
得票数 0
2
回答
卡夫卡-曾经的生产者和
消费
者
、
、
通过设置set enable.idempotence=true,我可以强制Kafka producer对每条生产
记录
只写一次。然而,在
消费
方面,我需要保证
消费
者只读取每条
记录
一次(我对将
消费
的
记录
存储到外部系统或另一个正在处理的Kafka主题中不感兴趣)。要实现这一点,我必须确保处理轮询
记录
,并将它们的偏移量以原子/事务方式提交给__consumer_offsets主题(两者都成功/失败)。在这种情况下,我是否需要求助于Kafka事务
API<
浏览 0
提问于2020-10-10
得票数 1
1
回答
日志
记录
错误或其他类似的调试信息应该由
API
处理还是由调用的应用程序处理?
、
、
在
API
内部(
API
负责生成和编写信息) 在
API
中,只向调用方公开信息,并让调用应用程序处理
记录
它并对其执行操作?
浏览 4
提问于2014-06-06
得票数 0
回答已采纳
1
回答
卡夫卡:如何给
消费
者投票超时价值?
、
、
我正在使用Kafka 0.10.2,为了接收Kafka的
记录
,我有一个
消费
者投票循环,如下所示: ConsumerRecords<Long, String> recordsrecords == null || records.isEmpty()) break; // dont wait for records在轮询循环之前,我们试图通过使用"offsetsForTimes“
API
我们得到的
记录
,直到我们到达最后的时间戳。
记录</
浏览 2
提问于2017-10-08
得票数 0
1
回答
kafka与Apache spark的集成
、
、
我正在学习apache spark与kafka的集成,这样当新消息到达Kafka的主题时,我的代码就可以自动运行。 我也读过官方文档 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑。我有我的字数统计写的程序在java火花和另一边卡夫卡正在运行。 结构化流媒体是kafka和spark java代码之间的桥梁吗?它是否一直在监听kafka,并且每当消息到达时,它都会从kafka中提取消息,并将其传递给java代码?这是对的吗? 如果没有,有没有人可以和
浏览 15
提问于2019-12-10
得票数 1
2
回答
用卡夫卡维持
消费
者的生存
、
我正在寻找一个“低成本”的方法,以保持一个
消费
者的生存,当我不积极投票。也就是说,仍在处理上一次投票的
记录
,我不希望
消费
者连接超时。一些看起来很有希望的功能: 重新:设置更高的连接超时-我希望
消费
者超时,如果它被插入。我的问题涉及一个部分,在这个部分,我已经获取了一个
记录
块,并且独立的线程正在它们中工作。
浏览 2
提问于2017-05-01
得票数 5
回答已采纳
2
回答
卡夫卡
消费
者/生产者与卡夫卡流的设计问题
、
我正在与NodeJs MS合作,到目前为止,他们通过Kafka
消费
者/制片人进行通信。现在我需要安装一个Loggger MS,它必须
记录
所有消息并进行一些处理(解析并保存到db),但我不确定是否可以使用Kafka Stream改进当前的方法,或者是否应该继续使用使用者
浏览 4
提问于2020-02-11
得票数 0
回答已采纳
1
回答
如何在Kafka中并行处理多个CSV文件?
、
、
、
kafka生产者读取每个CSV
记录
,并发送到具有2个分区和每个分区中的2个
消费
者的kafka主题。每个CSV文件可以有100 - 100,000条
记录
。每个
消费
者阅读同一主题,平均30秒可处理1000条
记录
。 因此,4个
消费
者可以在( 100,000 /4)*30/1000/60 = 12.5分钟内处理一个100,000条
记录
的文件。我对生产者和
消费
者都使用Java Spring Kafka连接器。
浏览 22
提问于2020-11-12
得票数 0
2
回答
为什么getPurchaseHistory方法在IInAppBillingService.aidl中不存在,即使它是文档化的?
、
、
我有要求,我想要收到我的购买,已经
消费
。因此,getPurchases方法的使用被排除在外,因为它只提供了购买的信息,而这些信息都是自己拥有的,而不是
消费
的。我可以看到getPurchaseHistory的文档,它可以给出中所有采购
记录
但是它的
api
不存在于IInAppBillingService.aidl中。
浏览 4
提问于2017-01-06
得票数 3
回答已采纳
3
回答
如何限制Kafka-consumer中的
记录
数量
、
、
我正在使用confluent 产品来
消费
某个主题中的
记录
。我的目的是只使用topic中的前100条
记录
。我正在使用以下REST
API
来获取
记录
如何做到这一点?有什么想法吗?
浏览 0
提问于2018-12-03
得票数 2
1
回答
无法从‘`az消耗品’命令中获得结果
、
是否有任何时间框架,我需要等待,才能让他们通过
消费
cli?
浏览 0
提问于2019-06-21
得票数 0
回答已采纳
1
回答
Kubernetes编排
、
假设我的公司从主服务器捕获了50个日志,并分发到许多容器,这些容器有自己的配置文件与之关联,我的问题是,我们如何一起使用Kubernetes Master & worker节点来维护所有这些容器,如果有新的日志到来并创建新的容器,这些容器应该可以扩展,同时所有的worker节点应该只运行其中的特定容器,并且不应该在其中一个节点关闭时复制自己。
浏览 13
提问于2019-04-23
得票数 0
1
回答
我应该使用SeekToCurrentErrorHandler和
API
restTemplate重试机制吗?
、
我正在尝试写一个卡夫卡
消费
者应用程序春季-卡夫卡。作为
消费
者,我必须确保我没有丢失任何
记录
,所有的
记录
都应该被处理。from topic --> dump it into a table A in oracle database --> pick records from a table A --> call rest
api
to update records in system table B --> update response of
API
in tabl
浏览 0
提问于2020-09-22
得票数 0
1
回答
我怎么能用反应堆创建一个冷冰冰的出版商-卡夫卡?
、
、
、
是否有可能创建一个Kafka出版商而不订阅它,那么,从另一个应用程序,创建一个
消费
者,订阅主题,并触发
记录
的发射?在
消费
者方面(另一种应用程序),我所做的是: 目前,除非我在发布服务器上做了一个then().subscribe(),否则
消费
者什么也得不到,这使得它立即发出。
浏览 1
提问于2017-12-02
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka消费者API
今年秋天,苹果正在为开发者推出健康记录API
如何使用 API 的方式消费 SAP Commerce Cloud 的订单服务
Video API,Storage API,location API接口应用
kafka的安装及生产消费消息demo以及踩坑记录
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券