如何通过Django应用程序调用Scrapy Spider
如何通过Django应用程序调用Scrapy Spider
提问于 2013-02-14 02:00:33
在我的django视图中，我在调用抓取蜘蛛时遇到了麻烦。我该怎么做呢？我尝试按照本教程http://tryolabs.com/Blog/2011/09/27/calling-scrapy-python-script/进行操作，但在导入设置中不起作用。
回答 2
Stack Overflow用户
回答已采纳
发布于 2014-02-27 04:45:32
如果错误来自于
from scrapy.conf import settings这很可能是因为scrapy根本找不到它想要的设置文件。因为在Django中习惯于使用settings来进行django自己的配置，所以最好不要使用这个术语。
您可以在Django设置中指定scrapy设置：
"""settings.py"""
# stuff
SCRAPY_SETTINGS = {
... # put your usual scrapy keys and values here
}
# more stuff然后，您可以使用以下命令代替导入scrapy.conf.settings：
from django.conf import settings在脚本中引用scrapy设置的位置，应该将参数CrawlerProcess更改为settings.SCRAPY_SETTINGS
self.crawler = CrawlerProcess(settings.SCRAPY_SETTINGS)如果您有任何进一步的问题，请发布您得到的完整错误和您的视图的代码。
Stack Overflow用户
发布于 2015-05-12 10:06:20
或者，您也可以像这样创建设置对象：
from scrapy.settings import Settings
settings = Settings()
settings.setmodule('path.to.scrapy.settings', priority='project')页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/14859963
复制相关文章
相似问题
腾讯云开发者
