首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何在芹菜中将传入的任务分批处理成10个任务?

如何在芹菜中将传入的任务分批处理成10个任务?
EN

Stack Overflow用户
提问于 2021-06-17 09:48:25
回答 1查看 100关注 0票数 1

App1:发送通信(例如:电子邮件)

App2:获取webhook,解析JSON并更新DB记录

例如,当我触发来自App1的10k通信时,我将收到基于App2事件的webhooks,到目前为止还不错.

现在,当我接收到这些webhooks时,我希望将这些请求合并为一个,然后一次性更新记录,而不是一个接一个地更新,这会导致我的App2停机,同时也会增加我的RDS实例的负载。

在接收webhooks时,我通过芹菜路由这些请求,并创建一个工作流来执行请求并相应地控制流出,这在一定程度上解决了问题,但我仍然在逐个更新记录,这不是任何人想要做的。因此,需要对芹菜工作流程提出一些建议:如何将这些传入的芹菜任务分成一批(每批10个请求),处理这10个任务,并进行主查询和初始化一个新任务,从而将这个主查询和10条记录的数据一次性更新。

工作流程:

App1 ->发送通信

App2 ->获取webhooks ->推到celery-service ->另一个更新DB的服务

解决方案:我将在芹菜服务和App2之间放置一个中间件(任何存储数据结构,如::Redis或App2),该中间件将请求数据批量存储(即。列出10个请求数据),并且有一个周期性的加速任务,它从中间件中轮询,并将10个请求数据处理为一个,并进一步更新DB记录。解决方案的问题是现在我的中间件变成了这里的瓶颈

App2 ->获取webhooks

请提出一些建议,以分批这些传入的网页钩和更新记录在一次。请随便问一问,是否有什么东西令人困惑。

EN

回答 1

Stack Overflow用户

发布于 2022-11-29 20:20:53

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/68016887

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档