腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
卡夫卡如何处理不同批次
的
订单?
apache-kafka
、
kafka-producer-api
在
卡夫卡关于
重试
的
文件
中
,它说: 如果允许
重试
而不将max.in.flight.requests.per.connection设置为1,则可能会更改记录
的
顺序,因为如果将两个
批处理
发送到单个分区,而第一个
批处理
失败
并被
重试
,但第二个分区成功,则第二个
批
中
的
记录可能首先出现。根据这一段,如果两个
批
被发送到同一个分区,kafka可以提交第二
批
浏览 4
提问于2020-10-06
得票数 0
回答已采纳
1
回答
具有潜在预先存在
的
行键
的
Azure表存储
批
插入
azure
、
azure-table-storage
我正在尝试向Azure Table Storage发送一
批
简单
的
插入操作,但似乎整个
批处理
事务都失效了,并且使用托管
的
azure存储客户端,如果
批处理
中
只有一次对预先存在
的
记录
的
插入,ExecuteBatch
方法
本身就会抛出异常。通过使用InsertOrMerge可以避免
批处理
级别的异常,但随后每个单独
的
操作响应都会返回204,无论该特定操作是否插入或合并它。因此,客户端应用程序似乎不可能保留自己或
浏览 1
提问于2013-05-29
得票数 2
回答已采纳
1
回答
Spring:
批处理
模式+异步提交。如何从卡夫卡经纪人
的
失败
中
恢复过来?
asynchronous
、
spring-kafka
默认异步回调只是将这些错误打印到日志
中
。投票仍在继续。消息处理得很好(但没有提交)。10分钟后,prod支持
在
日志中发现错误。卡夫卡集群恢复了,苦难进程被反弹。因此,
在
代理再次破产
的
情况下,我们可以确保
失败
的
偏移量高于最近
的
成功偏移量,然后.whatDoes Spring框架是否允许从异步回调内部重新发送
失败
的
提交?是否有任何
方法
可以从内部回调同步重新发送
失败
的
提交,直到代理从中断
浏览 3
提问于2021-03-07
得票数 0
1
回答
卡夫卡制片人:如何处理"java.net.ConnectException:连接被拒绝“
java
、
scala
、
apache-kafka
、
kafka-producer-api
这是我
的
制作人:val producer = new KafkaProducer[String, AnyRef](props)ConnectionException
在
另一个线程
中
引发(进入Sender类,该类用于KafkaProducer)。因此,我们不能使用try {} catch。另外,我不需要
重试
机制,我需要
一种
处理这种情况
的
方法
(例如,如果Kafka关机,而生产者不能发送
浏览 3
提问于2016-11-29
得票数 1
1
回答
如果有错误,
在
将数据保存到云防火墙时,如何回滚?
ios
、
swift
、
google-cloud-firestore
我想把数据保存到消防局
的
四个文档
中
。但是,如果其中一个文档有错误,我想取消所有的保存。我不知道异步等待是可能
的
。我与您共享giveOrder函数和按钮函数,我在其中调用了giveOrder函数。}这就是我得到
的
线程:[错误: 0x2b88f7db5e00内存读取
失败
“ 线程1: EXC_BAD_ACCESS (code=1,address=0x2b88f7db5e90)]
浏览 7
提问于2022-06-01
得票数 2
回答已采纳
1
回答
Apache Flume-Kafka-Sink生产者
复制
消息
apache-kafka
、
flume
flume-kafka-sink遇到了奇怪
的
问题,kafka代理多次
失败
并产生重复消息(每50条记录相同),但是关于producer.sinks.r.request.required.acks = 1
的
设置,对kafka文档
的
配额“此选项提供了最低
的
延迟,但最薄弱
的
持久性保证(一些数据将在服务器故障时丢失)”,它不能生成重复
的
数据吗?这意味着flume或flume-kafka-sink引起
的
问题吗?
浏览 5
提问于2017-11-03
得票数 0
回答已采纳
1
回答
设置in.flight.requests.per.session=1和retries >1如何有助于
在
Kafka分区中保持消息
的
顺序?
apache-kafka
、
kafka-producer-api
在
我正在读
的
一本书中,它说,如果订购是至关重要
的
,我们建议
在
重试
>1时设置in.flight.requests.per.session=1。 当消息被异步发送时,这对消息排序有什么帮助?A被成功发送,B被发送(将来将
失败
),C被发送,现在由于B
失败
再次发送。保持in.flight.requests.per.session=1只是确保当B被
重试
时,D和E不会在B之前到达分区,但是它仍然无助于阻止C走在B前面。
浏览 4
提问于2022-08-18
得票数 1
2
回答
能保证交货吗?
amazon-web-services
、
messaging
、
amazon-kinesis
我正在搜索Kinesis数据流
的
文档,但找不到明确
的
语句,比如 从生产者端,我期望发送
的
消息从消费者端传播到多个节点(类似于Kafka
的
ack=all) --我期待
的
是在用户成功处理时,类似于Kafka提交偏移
的
东西,或者类似Google
的
Pub/Sub消息确认。是否有提交消息
的
动作保证?是否有对Kinesis
的
处理保证(如果已处理并确认已处理,则将消息标记为只读)
浏览 3
提问于2021-01-07
得票数 2
回答已采纳
1
回答
Webmaster API v3:使用
批处理
请求获取servingLimitExceeded
google-api
、
google-search-console
、
google-api-ruby-client
我正在获得
批处理
中
结果
的
servingLimitExceeded错误消息,而不是整个
批处理
的
结果错误消息。例如,我可能会得到100个记录响应这个错误,然后它开始返回更多
的
结果。都在一
批
内。如果
批处理
是由Google内部处理
的
,我如何调整它们以不达到速率限制?我试着
在
批
间增加1秒
的
延迟,但这并没有改变这一点。我还在Ruby上设置了retries = 3,但我不知道这是否意味着它会<e
浏览 2
提问于2015-03-20
得票数 0
回答已采纳
1
回答
反应性卡夫卡制作者
apache-kafka
、
kafka-producer-api
、
reactive-kafka
通过同步生成器,我们得到了all消息传递
的
保证,并维护了生产者序列。但是,ASYNC不能保证交付和测序。反应性生产者是否等同于同步或ASYNC?
浏览 5
提问于2020-06-10
得票数 0
回答已采纳
1
回答
春季
批
异步处理器
中
的
重试
java
、
spring
、
spring-batch
我们正在构建一个spring
批处理
,它在春季
批处理
中
调用处理器部分
中
的
第三方API。 要求是当第三方API不可用时,春
批
需要重新尝试指定
的
阈值限制并中止
批处理
。我尝试过用容错步骤
重试
spring
批处理
,它在一个线程程序
中
工作得很好,但是当我们包括aysncprocessor和aysncitemwriter时,它并没有停止
批处理
。请给我一些
重试
限制/自定义
浏览 4
提问于2020-06-29
得票数 1
回答已采纳
1
回答
一种
在
批处理
中
重试
失败
的
批
复制
的
方法
azure
、
azure-data-factory
它
的
工作原理是扫描一个SQL表并查询BatchRecord表(
一种
元数据表),然后查找具有相同projectID和UniqueID (只有两个ids,用于标识客户和帐户)
的
所有记录。一旦找到所有这些匹配
的
记录,就会将它们组合在一起形成一个
批
。然后使用这
批
记录从第二个表
中
拉出记录,并将它们移动到Azure Blob。有许多记录具有相同
的
projectID和UniqueID (表示同一客户端
在
不同日期进行
的
多个事务)。
浏览 29
提问于2021-07-01
得票数 1
2
回答
事务性生产者与仅仅是幂等生产者Java (例外OutOfOrderSequenceException)
java
、
apache-kafka
、
kafka-producer-api
、
spring-kafka
kafka时遇到了错误,请
重试
。如果设置,
重试
配置将默认为Integer.MAX_VALUE,max.in.flight.requests.per.connection配置将默认为1,而acks配置将默认为所有人。为了利用幂等生产者
的
优势,必须避免应用程序级别的重新发送,因为它们不能被反
复制
。此外,如果发送(ProducerRecord)即使有无限
重试
也返回错误(例如,如果消息
在
发送之前
在
缓冲区
中
过期),则建议关闭生成器并检查最后生成
的</em
浏览 1
提问于2019-03-16
得票数 8
1
回答
DynamoDB没有接收到整个SQS消息体
python
、
amazon-web-services
、
aws-lambda
、
amazon-dynamodb
、
amazon-sqs
我遇到问题
的
地方是处理消息,以便将数据发送到DynamoDB。数据集中应该有147,689条记录。我已经尝试了我能想到
的
一切来解决这个问题,包括(使用Fifo队列而不是标准队列,增加可见性超时,增加传递超时,使用uuid.uuid1()而不是uuid.uuid4()),我正在循环遍历"Record“列表,所以不知道为什么它不处理整个
批处理
。下面是我处理消息并将数据发送到DynamoDB
的
最新代码:import jsonimport time dynamo =
浏览 3
提问于2021-01-09
得票数 1
回答已采纳
1
回答
用EventHub触发器处理Azure函数
中
的
重复
c#
、
azure-functions
、
azure-eventhub
我有一个Azure函数,它有事件集线器绑定触发器,它接收
批
EventData。我还拥有FixedDelayRetry,用于对未处理
的
异常启用
重试
(是故意完成
的
)。如果一个事件
在
批处理
过程
中
失败
,则整个
批处理
将再次被
重试
,这显然会造成重复问题。是否有一个很好
的
模式来存储事件序列号以及
在
处理之前检查它
的
状态?以及
浏览 4
提问于2022-06-14
得票数 1
2
回答
如何用spring
批处理
侦听器进行状态
重试
spring
、
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我正在阅读这里
的
文档,,我不知道用
批处理
侦听器实现有状态
重试
的
正确
方法
是什么文档建议我
在
侦听器本身中使用RetryTemplate。好吧,我能做到。问题出现在下一节,讨论如何使用有状态
重试
标志在
重试<
浏览 2
提问于2019-08-27
得票数 1
回答已采纳
3
回答
在
Kinesis EventSourceMapping上禁用λ
重试
node.js
、
aws-lambda
、
amazon-kinesis
我想简单地禁用lambda
重试
,当它是由一个动能触发器启动。如果lambda
失败
或退出,我不希望它
重试
。
浏览 4
提问于2018-12-06
得票数 0
1
回答
复制
大CSV (110百万行)到Postgres 10卡盘,
失败
时继续
bash
、
postgresql
我希望\将大型CSV文件
复制
到Postgres 10,并且希望从格式错误
的
行(如额外
的
引号、预期
的
额外列)中产生各种类型
的
错误。最后,将手动更正
失败
的
行,并手动将其添加到表
中
。 我希望能在这个问题上找到解决方案,必要时结合\COPY和bash脚本。
浏览 0
提问于2018-05-10
得票数 0
回答已采纳
1
回答
卡夫卡制片人与经纪人失去联系
apache-kafka
、
kafka-producer-api
使用下面这样
的
生产者配置,我将创建一个整个应用程序都使用
的
Singleton生成器: properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG代理
的
advertised.listeners被配置为返回IP地址而不是主机名。虽然正常情况下一切正常工作,但问题发生在卡夫卡重新启动时,有时IP地址会发生变化。由于生产者只知道较旧
的
IP,所以它一直试图连接到该主机以发送消息,而没有任何消息通过。我观察到当发送
失败
时会引发org.apache.ka
浏览 1
提问于2020-07-12
得票数 2
回答已采纳
1
回答
ADF管道有10%
的
时间
失败
,超时错误。
azure-data-factory
大约10%
的
时间在上个月,我
的
工作
失败
了。我每次都会收到这样
的
错误: ''Type=Microsoft.Azure.Documents.RequestTimeoutException,Message=Request超时.我
的
工作包括一个命令,该命令随后从CosmosDB
复制
一个表并将其迁移到Kusto。当我在过去遇到这个错误时,我重新运行了这个任务,而且它似乎运行得很好。你知道问题出在哪里吗?重新安排一份3到4个小时
的
工作变得不方便,而这份工作由于一
浏览 12
提问于2022-03-31
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在PHP开发中,你会用哪一种加密的方法!
Kubernetes 1.28:Job 失效处理的改进
如何正确地实现重试(Retry)
替代 Kafka?Pinterest 推出高效可扩展云原生系统 MemQ
Structured Streaming实现超低延迟
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券