3回答
从脚本中运行刮擦蜘蛛会导致错误ImportError:没有名为scrapy的模块
python、web-scraping、import、scrapy
我安装了scrapy，并创建了一个蜘蛛，当从命令行运行时，它可以使用命令scrapy。我的问题是，当某些特定的事情发生时，我需要从另一个脚本运行蜘蛛。我有一个单独的python脚本，这只是一个测试，但它试图按行运行蜘蛛：
execfile("../scrapy/data_spider/data_spider/spiders/
浏览 7提问于2019-08-01得票数 0
1回答
如何让Scrapy在python项目中爬行？
python、scrapy
我想在这个url上保存信息，我按照Scrapy教程学习了如何使用这个工具。但是，有没有一种方法可以在MyScrapClass.crawl()这样的Python项目中启动爬行，而不是使用linux命令scrapy crawl MyScrapProject？
浏览 1提问于2016-03-21得票数 0
1回答
Scrapy:从python脚本中运行一个蜘蛛，并等待其执行结束。
python、django、scrapy、scrapy-spider
我创建了一个具有以下结构的小型Scrapy项目： ├── scrapy.cfg ├── __init__.py ├── crawl_products.pycrawl_products.py包含蜘蛛products_spider为了启动我正在使用的蜘蛛：现在，我
浏览 4提问于2017-05-11得票数 2
1回答
从项目目录外部运行的scrapy引发异常
python、scrapy
我想通过我的自定义python脚本runspiders.py运行这个蜘蛛。脚本从scrapy项目文件夹内运行时，蜘蛛将正确运行。C:\wamp64\www\tutorial>python runspiders.pyC:\wamp64\www>py
浏览 9提问于2016-12-14得票数 2
3回答
如何将Scrapy脚本打包到独立的应用程序中？
python、scrapy、desktop-application、py2exe、pyinstaller
它们需要每天从桌面应用程序运行。从用户的角度来看，在另一台windows计算机上安装和运行它的最简单方法是什么？
浏览 1提问于2013-08-30得票数 3
2回答
使用Python的"Scrapy“时出错
python、scrapy
我在Python2.7上安装了最新版本的Scrapy (是的，我仍然使用这个版本)，在运行Scrapy的教程脚本时遇到了一个错误。我正在运行的代码是： name = "dmoz.org"\scrapy\spider.py", line 7, in
浏览 7提问于2011-03-15得票数 1
回答已采纳
4回答
在刮刮中运行多个蜘蛛
python、scrapy、web-crawler
例如，如果我有两个包含不同的，那么就可以使用scrapy中的。现在，我想写两个单独的蜘蛛各一个，并希望同时运行这两个蜘蛛。在编写了多个蜘蛛之后，我们如何安排它们每6个小时运行一次(可能就像cron作业)提前谢谢。
浏览 8提问于2012-06-08得票数 8
回答已采纳
1回答
我想模拟
是否有给我提供HtmlXPathSelector (hxs)对象的url的刮伤实用程序？
浏览 5提问于2013-06-24得票数 1
2回答
从Python脚本中运行scrapy - CSV导出程序不起作用
python、python-2.7、export、twisted、scrapy
当我从命令行运行它时，我的刮取器工作得很好，但是当我试图在python脚本中运行它(使用使用Twisted的方法概述 )时，它不会输出它通常所做的两个CSV文件。我有一个创建和填充这些文件的管道，其中一个使用CsvItemExporter()，另一个使用writeCsvFile()。are normally created in this folder scrapy</
浏览 3提问于2013-07-20得票数 6
回答已采纳
1回答
Python + Scrapy:从脚本运行爬虫时运行"ImagesPipeline“的问题
python、scrapy、scrapy-pipeline
我是Python的新手，所以如果这里有一个愚蠢的错误，我很抱歉.我已经在网上搜索了好几天，看过类似的问题，梳理了一下Scrapy文档，似乎没有什么能真正解决这个问题.我有一个Scrapy项目，它成功地抓取源网站，返回所需的项，然后使用ImagePipeline从返回的图像链接下载(然后相应地重命名)图像.但只有当我使用"runspider".从终端运行时，才能运行每当我使用来自终端或CrawlProcess的“爬行”从脚本<
浏览 0提问于2019-08-22得票数 1
3回答
对从Python脚本中运行Scrapy感到困惑
python、web-scraping、scrapy
遵循，我可以从Python脚本运行scrapy，但我无法获得scrapy结果。这是我的蜘蛛：from scrapy.selector import HtmlXPathSelector scrapy crawl douban但是我无法从Python脚本
浏览 1提问于2013-07-10得票数 6
回答已采纳
2回答
CrawlerProcess对CrawlerRunner
python、web-scraping、scrapy
解释说，有两种方法可以从脚本中运行Scrapy蜘蛛
这两者有什么区别呢？我什么时候应该使用“过程”和“跑步者”？
浏览 6提问于2016-09-26得票数 32
回答已采纳
5回答
在脚本文件函数中获取Scrapy crawler输出/结果
python、scrapy、web-crawler、twisted、scrapy-spider
我使用脚本文件在scrapy项目中运行爬行器，并且爬行器记录爬虫的输出/结果。但是我想在脚本文件中使用爬行器输出/结果，在某些函数中，.I不想将输出/结果保存在任何文件或DB中。下面是从获取的脚本代码from scrapy.crawler import CrawlerRunner
from scrapy.utils.log%(levelname)s
浏览 3提问于2016-10-25得票数 12
1回答
-第一个任务后的“流程完成”，不会运行以下作业。
python、scrapy、scheduled-tasks、scheduler、scrapy-spider
我使用Python ()实现了一个网络爬虫。现在我想自动运行这些进程。我查看了模块Schedule (，)，并编写了以下代码：import timefrom scrapers.scrapy_new_users.helper
浏览 5提问于2018-03-16得票数 0
2回答
运行抓取爬虫的最简单方法，这样它就不会阻止脚本
python、scrapy
给出了从代码中运行scrapy爬虫的许多方法：from scrapy.crawler import CrawlerProcess
# Your spider definitionprocess.start() # the script will block here until the c
浏览 3提问于2016-02-26得票数 3
回答已采纳
1回答
我们能在scrapy shell之外运行擦伤代码吗？
python、web-scraping、scrapy
我试着用Scrapy建造一个爬虫。在scrapy的官方文档或博客中，我看到人们在.py代码中创建一个类，并通过scrapy执行它。在它们的主页上，给出了以下示例 name = 'blogspider'我无法找到一种方式来编写相同的代码，这种方式可以用以下方式执行
python
浏览 0提问于2018-03-09得票数 3
回答已采纳
1回答
Windows无法在dir中找到刮伤文件。
python、windows、scrapy
因此，我得到了一个简单的运行脚本，它将使用Popen来调用蜘蛛。运行脚本如下：import time p = Popen(["scrapy", "crawl", "当我从cmd行运行该蜘蛛时，它将从dir：C:\Users\Kasutaja\Desktop\scrapyTest中完美地运行。当我
浏览 1提问于2013-06-27得票数 2
1回答
如何建立我的抓取蜘蛛到一个可执行文件使用py2exe？
python、exe、scrapy、py2exe
我使用scrapy创建一个项目，并在"spiders“文件夹中添加我自己的爬行器，比如"spider_us.py"，我想构建一个可在其他计算机上执行的可执行文件，而不需要安装scrapy。我在同一个文件夹中创建了一个新文件"Setup.py“，内容如下：import py2exe
然而，它不起作用，因为当我运行
浏览 1提问于2013-10-18得票数 6
2回答
从python脚本调用scrapy而不是创建JSON输出文件
python、json、web-crawler、scrapy
下面是我用来调用scrapy的python脚本，答案是
reactor.stop()from scrapy import log,signals return item
此代码
浏览 4提问于2013-03-19得票数 3
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号