我目前有一个scrapyd实例,并在我的机器上本地运行。此scrapyd实例需要在我的雇主网络上的其他PC上可用。我读过关于刮刮云(https://doc.scrapinghub.com/scrapy-cloud.html)和其他基于云的服务的文章。然而,我更愿意在我们的网络上托管scrapyd,因为我构建的爬虫从我们服务器上存储的csv文件中提取数据。
我搜索了scrapyd文档(https://scrapyd.readthedocs.io/en/stable/),了解了如何安装和运行scrapyd。我也喜欢将scrapy项目上传到scrapyd并运行特定的爬行器。
我需要采取哪些步骤才能使我的scrapyd实例可供网络上的其他计算机使用?我们所有的PC和服务器都运行在windows操作系统上
答案不需要是具体的一步一步指南。我只是想找个人给我指明正确的方向,因为我不确定该怎么做。
发布于 2017-02-03 06:40:56
如果您在同一ip范围内的lan中。
您可以按照手册操作,并在windows的linux ipconfig中检查您的ip ifconfig。
并运行手动curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg中的命令
并使用您的and地址更改localhost
例如您的ip是192.168.1.10
您将在其他pc上运行。
curl http://192.168.1.10:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg
如果你使用防火墙,你需要打开端口,如果你不在windows中使用cURL,可以下载并安装它:How do I install/set up and use cURL on Windows?
有关api的更多信息,请查看手册
https://stackoverflow.com/questions/42010749
复制相似问题