首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Scrapy服务器不运行爬行器

Scrapy服务器不运行爬行器
EN

Stack Overflow用户
提问于 2012-09-20 21:56:37
回答 1查看 522关注 0票数 0

我设置了爬虫,它完美地从命令行运行,如下所示

代码语言:javascript
运行
复制
$ scrapy crawl somesite

我用这个字符串创建了一个shell脚本,并通过cronjob运行它。但这是一个非常糟糕的想法,因为爬虫不会等待之前的抓取程序结束。所以我得到了一些非常棒的结果。所以我试着运行crawler

代码语言:javascript
运行
复制
$ scrapy server
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

并且没有任何结果。Crawler未运行。我不知道如何安排一个爬虫跑(例如每10分钟)。

EN

回答 1

Stack Overflow用户

发布于 2012-09-21 20:24:45

您使用的是哪个版本的Scrapy?

要解决等待结束之前的爬虫程序的问题,请尝试一些简单的控件,如下所示:

代码语言:javascript
运行
复制
#!/usr/bin/python

import os
import traceback

spiderName='someSpider'

# Block file
pid = str(os.getpid())
pidfile = "/tmp/" + spiderName + ".pid"

if os.path.isfile(pidfile):
  print "%s is blocked, another process running..." % spiderName
  sys.exit()
else:
  file(pidfile, 'w').write(pid)

try:
  os.chdir('/some/dir/crawlers')
  os.execl('/usr/local/bin/scrapy', 'foo', 'crawl', spiderName)
except OSError:
  print str(traceback.format_exc()) 

os.unlink(pidfile)
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/12514216

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档