目前我的后台工作正在使用sidekiq。同时,我一次运行10个作业。这些工作不是小工作。完成这项工作需要6-8小时。
同时,我需要运行一些较小的工作(将需要2-3分钟)。目前无法运行这些作业,直到完成上述10个作业中的任何一个。所以我得等6-8个小时才能完成这个小任务。
但是,这些作业应该在添加到队列后立即运行。是否有任何选项可以阻止运行此类小作业的进程之一。我尝试了队列选项,但它在我的场景中也不起作用。
这里是我的侧翼配置
:concurrency: 10
:queues:
- [web, 7]
- [default, 3]
有人能给我解决这个问题的办法吗?
发布于 2014-04-07 13:40:22
长时间的工作窒息了较小的工作,因为他们争夺同样的资源。
我可以建议您运行两个sidekiq进程,每个进程使用不同的配置文件,每个进程侦听不同的队列:
sidekiq_long.yml
:concurrency: 10
:queues:
- default
sidekiq_normal.yml
:concurrency: 3
:queues:
- web
通过这种方式,服务器短作业总是可以使用一个侧方进程:
sidekiq -C config/sidekiq_long.yml.yml
sidekiq -C config/sidekiq_normal.yml
https://stackoverflow.com/questions/22913990
复制相似问题