刮伤的医生说:
Scrapy附带一个内置服务,称为“Scrapyd”,它允许您部署(又名“Scrapyd”。上传)您的项目,并使用JSON web服务控制它们的蜘蛛。
在使用上有什么优势吗?
发布于 2013-04-16 14:55:46
Scrapyd允许您在与您使用的机器不同的机器上运行scrapy,这意味着您只需使用curl或甚至web浏览器来上传新的项目版本并运行它们。否则,如果您想在云中运行Scrapy,就必须在scp中复制新的蜘蛛代码,然后使用ssh登录并生成您的scrapy crawl myspider。
如果希望并行运行多个蜘蛛,Scrapyd还将为您管理进程;但是如果您在本地计算机上拥有Scrapy,并且可以访问命令行或运行蜘蛛的方法,并且只想一次运行一个蜘蛛,那么最好手动运行该蜘蛛。
如果您正在开发蜘蛛,那么您肯定不希望使用scrapyd进行快速编译/测试迭代,因为它只是增加了一层复杂性。
https://stackoverflow.com/questions/16034495
复制相似问题