从另一个python脚本运行scrapy程序

文章/答案/技术大牛

发布

1回答

如何从另一个脚本解析字符串到蜘蛛

python、windows、web-crawler、scrapy

我对python和scrapy很陌生。我正在使用子进程module.But从另一个python脚本运行scrapy-ctl.py，我想从这个脚本itself.Is将‘start_urls’解析为蜘蛛，它可以将start_urls(在运行scrapy的脚本中确定)解析到蜘蛛？

浏览 4提问于2010-07-05得票数 0

2回答

从Python脚本中运行scrapy - CSV导出程序不起作用

python、python-2.7、export、twisted、scrapy

当我从命令行运行它时，我的刮取器工作得很好，但是当我试图在python脚本中运行它(使用使用Twisted的方法概述 )时，它不会输出它通常所做的两个CSV文件。我有一个创建和填充这些文件的管道，其中一个使用CsvItemExporter()，另一个使用writeCsvFile()。are normally created in this folder scrapy</

浏览 3提问于2013-07-20得票数 6

回答已采纳

3回答

从脚本中运行刮擦蜘蛛会导致错误ImportError:没有名为scrapy的模块

python、web-scraping、import、scrapy

我安装了scrapy，并创建了一个蜘蛛，当从命令行运行时，它可以使用命令scrapy。我的问题是，当某些特定的事情发生时，我需要从另一个脚本运行蜘蛛。我有一个单独的python脚本，这只是一个测试，但它试图按行运行蜘蛛： execfile("../scrapy/data_spider/data_spider/spiders/getBUCPower.py&qu

浏览 7提问于2019-08-01得票数 0

1回答

从单独的脚本运行Scrapy* -o JSON*

python、json、python-3.x、scrapy

我有一个python3脚本，我在其中调用了2个抓取爬行器，以便在代码中的某个时刻输出一个JSON文件。目前，我通过运行如下所示的bat脚本来做到这一点：Bat脚本：scrapy crawl proje

浏览 20提问于2020-07-30得票数 1

回答已采纳

1回答

Scrapy:从python脚本中运行一个蜘蛛，并等待其执行结束。

python、django、scrapy、scrapy-spider

我创建了一个具有以下结构的小型Scrapy项目： ├── scrapy.cfg ├── __init__.pyscrapy crawl products_spider 现在，我希望从另一个python脚本启动蜘蛛，并等待它的执行结束。如果它可以帮助：我想要运行蜘蛛的另一个脚本是django

浏览 4提问于2017-05-11得票数 2

1回答

如何在蜘蛛停止爬行或遇到异常后退出Scrapy脚本？

python、scrapy

我正试图每分钟从窗口任务计划程序()中的bat文件中运行Scrapy的python脚本。

浏览 7提问于2017-04-18得票数 2

1回答

如何让Scrapy在python项目中爬行？

python、scrapy

我想在这个url上保存信息，我按照Scrapy教程学习了如何使用这个工具。但是，有没有一种方法可以在MyScrapClass.crawl()这样的Python项目中启动爬行，而不是使用linux命令scrapy crawl MyScrapProject？

浏览 1提问于2016-03-21得票数 0

4回答

ImportError:没有名为twisted.persisted.styles的模块

python、macos、python-2.7、scrapy

在空闲时，我尝试使用新安装的scrapy 1.0.3运行一个脚本。整个脚本，如果有帮助的话，指出如下): File "/Users/eliasfong/tu

浏览 14提问于2015-11-18得票数 9

1回答

从项目目录外部运行的scrapy引发异常

python、scrapy

我想通过我的自定义python脚本runspiders.py运行这个蜘蛛。from __future__ import print_function from scrapy.crawler import CrawlerProcess from脚本从scrapy项目文件夹内运行时，蜘蛛将正确运行。C:\wamp64\www\tutorial>python

浏览 9提问于2016-12-14得票数 2

1回答

我想在Spyder中使用Scrapy，而不是通过终端/shell使用它。我是一个windows用户，Scrapy版本1.8.0，pyhton 3.7.3，我正面临着BeautifulSoup的问题。例如，我试图从一个网站获取一个产品的价格，问题是它并不总是得到数据，但Scrapy在这里通过使用CSS选择器工作得很好。所以我想将Scrapy与Spyder或Vscode一起使用，因为我还有其他依赖于Scrapy输出的代码。

浏览 69提问于2019-12-14得票数 0

回答已采纳

1回答

从bash (shell脚本)运行Scrapy

java、bash、shell、scrapy

我用Java开发了一个web应用程序，它使用Scrapy获取一些数据。为了达到这个目的，我从Java调用了一个shell脚本： p.waitFor运行它之后，两个"echo“都会被打印出来，但是scrapy什么也不会做。如果我从shell运行myScript.sh，它运行</

浏览 5提问于2015-02-02得票数 0

2回答

钢铁工人和擦伤

python、scrapy、iron.io

我正在尝试使用scrapy创建一个iron.io工作人员。当我试图通过python module/scrapy/__init__.py运行擦伤时，我得到了 File

浏览 6提问于2015-03-16得票数 1

回答已采纳

1回答

无法在WinPython中运行Scrapy

python、scrapy

我正在尝试从安装在USB棒上的WinPython上运行一个抓取网络爬虫，这样爬虫就可以在任何windows计算机上使用，而不需要在桌面上安装python。在那之后，我安装了scrapy。但是，每当我在命令提示符中键入scrapy时，都会出现一条错误消息：我仍然收到相同

浏览 1提问于2014-07-20得票数 2

1回答

从python脚本中运行scrapy程序

python、scrapy

import scrapyfrom scrapy</

浏览 3提问于2018-09-25得票数 0

回答已采纳

1回答

从单独的python脚本运行爬行器

python、scrapy

我想知道从另一个python脚本运行爬虫的最好方法是什么。我的scrapy项目由4个不同的爬虫组成，它们都创建了帮助其他蜘蛛工作的文件，其中一些必须读取一些文件才能工作。这部分已经完成了，但是是单独的(独立于控制台运行爬行器)。例如，我如何才能做这样的事情？productToSearchIsBlue): #Make another spider crawl 我的最终计划是将完整的程

浏览 8提问于2019-02-05得票数 0

回答已采纳

8回答

如何使用PyCharm调试Scrapy项目

python、debugging、python-2.7、scrapy、pycharm

我正在使用Python 2.7开发Scrapy 0.20。我发现PyCharm有一个很好的Python调试器。我想用它来测试我的抓取蜘蛛。有谁知道怎么做吗？我尝试过的东西File->Setting->Project structure->Add content root.

浏览 119提问于2014-02-15得票数 107

回答已采纳

1回答

python-3.x、web-scraping、scrapy

每种产品都有一个类别，例如，如果我想刮“笔记本”，我使用一个刮刀，但如果我的目标是刮衣服，我就有另一个。那么，有没有办法运行一个python脚本，根据我要抓取的产品(产品是从txt文件中读取的)，调用不同的爬行器？它还有助于了解我需要哪些导入才能使程序正常工作

浏览 16提问于2019-01-22得票数 0

回答已采纳

1回答

Scrapy 1.0 -从python脚本运行后获取返回值

python、scrapy、scrapy-spider

我使用以下代码从python脚本运行我的爬虫程序：from scrapy.crawler import CrawlerProcess 上面的代码来自：

浏览 0提问于2015-07-12得票数 2

2回答

CrawlerProcess对CrawlerRunner

python、web-scraping、scrapy

解释说，有两种方法可以从脚本中运行Scrapy蜘蛛这两者有什么区别呢？我什么时候应该使用“过程”和“跑步者”？

浏览 6提问于2016-09-26得票数 32

回答已采纳

2回答

使用Python的"Scrapy“时出错

python、scrapy

我在Python2.7上安装了最新版本的Scrapy (是的，我仍然使用这个版本)，在运行Scrapy的教程脚本时遇到了一个错误。我正在运行的代码是： name = "dmoz.org"scrapy import log File "C:\Python27\l

浏览 7提问于2011-03-15得票数 1

回答已采纳

点击加载更多

如何从另一个脚本解析字符串到蜘蛛

从Python脚本中运行scrapy - CSV导出程序不起作用

从脚本中运行刮擦蜘蛛会导致错误ImportError:没有名为scrapy的模块

从单独的脚本运行Scrapy* -o JSON*

Scrapy:从python脚本中运行一个蜘蛛，并等待其执行结束。

如何在蜘蛛停止爬行或遇到异常后退出Scrapy脚本？

如何让Scrapy在python项目中爬行？

ImportError:没有名为twisted.persisted.styles的模块

从项目目录外部运行的scrapy引发异常

如何在Spyder或VScode中使用Scrapy

从bash (shell脚本)运行Scrapy

钢铁工人和擦伤

无法在WinPython中运行Scrapy

从python脚本中运行scrapy程序

从单独的python脚本运行爬行器

如何使用PyCharm调试Scrapy项目