最后,对比了Celery的对手:Pyro和Python-RQ。 此时,你应该已经明白了并行、分布和异步编程的基本含义。如果没有的话,最好再学习下前面几章。...Celery的替代方案:Python-RQ Celery的轻量简易替代方案之一是 Python-RQ (http://python-rq.org)。它单单基于Redis作为任务队列和结果后台。...因为Celery和Python-RQ在概念上很像,让我们立即重写一个之前的例子。...为了运行代码,首先要安装Python-RQ,用pip进行安装: $ pip install rq 在所有机器上都要安装。...worker进程(通过使用rqworker脚本,Python-RQ源码的一部分),通过Ctrl+C杀死进程。
Celery、Python-RQ、Pyro等工具,只需要极少的精力,就可以获得性能极大地提高。 但是,必须要知道,分布式应用缺少强大的调试器和分析器,这个问题不局限于Python。...我们在第4章学习了一些第三方Python模块,包括Celery、Python-RQ和Pyro。我们学习了怎么使用它们,并看到它们都很容易使用。...但是,并非所有的分布式应用都要用到Celery、Python-RQ和Pyro。特别是当应用需要复杂、高性能、分布式图片处理,使用Celery就不好。...用几行代码的一个简单框架,如Python-RQ,就可以让代码性能大幅提升!----
python-rq允许我们做到这一点,使用 Redis 作为代理来排队作业。...': 'bar'} # Arbitrary pickleable data on the job itself ) RQ worker(RQ 工作器)必须在终端中单独启动或通过 python-rq
第4章,Celery分布式应用,介绍如何使用Celery搭建最简单的分布式应用,以及Celery的竞争对手Python-RQ和Pyro。
最简单的实现是python-rq 链接:https://github.com/nvie/rq rq和Scrapy的结合:darkrho/scrapy-redis 链接:https://github.com
领取专属 10元无门槛券
手把手带您无忧上云