我正在使用python在后台执行一个作业。该作业调用第三方rest并将响应存储在数据库中。第三方API有一些速率限制,比如7次请求/分钟。我已经创建了一个重试处理程序,以便优雅地处理429 too many requests HTTP代码,并在一分钟后(基于速率限制的时间单位更改)重新对作业进行排队。因为我不能在处理程序代码中直接调用sch.enqueue_in(dt.timedelta(seconds=6
每种文件类型由不同的作业处理,该作业将由监听SQS s3 push messages on new object created事件的dispatcher应用程序通过http按需触发。因此,当必须处理相同类型的N个文件时,调度程序必须向同一作业发出N个http请求。考虑到一个实例一次只能处理一个文件,并且在扩容之前有一定的容忍度(例如,如果作业A