scrapy runspider:错误:无法加载‘runspider Spider.py’：无法从'scrapy‘导入名称'squeue’

文章/答案/技术大牛

发布

1回答

scrapy

我正在尝试使用以下命令运行Scrapy爬行器： scrapy runspider -a main_url=https://www.imperium42.com WebHarvestSpider.py我得到了这个错误： Usage scrapy runspider [options] <spider_file> runspider: error: Unable to load 'WebHarvestSpider.

浏览 226提问于2019-05-25得票数 0

回答已采纳

3回答

Python：“运行蜘蛛”和“爬行”命令有什么区别？

python-2.7、scrapy

有人能解释运行蜘蛛和爬行命令之间的区别吗？应该使用它们的上下文是什么？

浏览 5提问于2016-06-03得票数 15

回答已采纳

1回答

启动程序中的致命错误:无法使用"c:\bld\scrapy_345323\_h_env\python.exe“创建进程

scrapy、anaconda

我在Windows 7上安装了anaconda和python，没有错误。我试图从scrapy.org中运行一个示例。scrapy runspider quotes_spider.py -o quotes.json 启动程序中的致命错误:无法使用“c：\bld\scrapy_345323_h_env\python.exe

浏览 0提问于2019-09-13得票数 1

1回答

为什么刮伤提供无法加载错误？

python、scrapy、web-crawler

在那里，我试图根据我设置的规则提取评论，这些规则应该与符合以下标准的链接相匹配：运行蜘蛛:错误:无法加载‘蜘蛛/vergespider.py’：没有名为‘ober3.ober3’的模块所以我的预期结果应该是这样的。www.theverge.com/22299226/gigabyte-aorus-15g-re

浏览 1提问于2021-03-17得票数 0

1回答

如何用最统一的类测试我的刮擦方法

python、python-2.7、scrapy、scrapy-spider

import Selectorfrom scrapy.utils.project import get_project_settingsfrom unittest.case import TestCase name

浏览 4提问于2015-11-02得票数 0

回答已采纳

1回答

刮伤:无法将项目加载到蜘蛛

python、scrapy、namespaces、web-crawler、loading

我无法将刮伤项加载到刮伤蜘蛛中。以下是我的项目结构： .log ..scrapers ....现在，items.py有以下代码：from Decimal import Decimal title: str= scrapy.Field(serializer=str) bid: Decimal = sc

浏览 1提问于2020-04-11得票数 0

3回答

从scrapy.selector导入选择器错误

python、macos、web-scraping、scrapy、lxml

我无法执行以下操作：错误是：这就好像我的机器上没有安装LXML，但它确实安装了。另外，我认为这是scrapy

浏览 0提问于2013-10-17得票数 5

回答已采纳

1回答

Python + Scrapy:从脚本运行爬虫时运行"ImagesPipeline“的问题

python、scrapy、scrapy-pipeline

我是Python的新手，所以如果这里有一个愚蠢的错误，我很抱歉.我已经在网上搜索了好几天，看过类似的问题，梳理了一下Scrapy文档，似乎没有什么能真正解决这个问题.我有一个Scrapy项目，它成功地抓取源网站，返回所需的项，然后使用ImagePipeline从返回的图像链接下载(然后相应地重命名)图像.但只有当我使用"runspider".从终端运行时，才能运行我读到，在以这种方式运行时，我需要导入我的设置，以便正确地加载管道，这

浏览 0提问于2019-08-22得票数 1

7回答

在Visual代码中调试Scrapy项目

python、python-3.x、visual-studio、scrapy、visual-studio-code

爬行器工作正常，但我想调试代码，为此我在我的launch.json文件中添加了以下内容： "name": "Scrapy with Integrated Terminal/Console",config:python.pythonPath}", "program": "C:/Users/neo/.virtualenvs/Gers-Crawler-77pVkqzP/Scripts/scrapy

浏览 1提问于2018-03-09得票数 23

回答已采纳

1回答

在PYTHON中使用SCRAPY导入模块时出现错误

python-3.x、scrapy

我正在尝试实现一个蜘蛛在scrapy和我得到一个错误，当我运行蜘蛛，并尝试了几件事，但无法resolved.The错误如下所示，还要注意的是，我使用的是python 3.9作为我的虚拟环境的解释器。['lastUpdated'] = las

浏览 0提问于2020-10-31得票数 0

1回答

无法使用scrapy检索信息

python、web-scraping、scrapy

我想从上检索手机的价格信息。我使用的是hxs.select('.//div[1]/div/div[1]/div/span/label[2]').extract()，它给了我一个空字典。

浏览 0提问于2013-05-28得票数 0

1回答

动态start_urls值

python、json、scrapy

如果我在Init中的代码中放入一个文字作为但是，当我从json文件中读取值并创建一个列表时，我得到了与缺少的%20相同的错误 self.start_urls = self.start_urls.split(",") 错误/runspider.py&qu

浏览 6提问于2014-06-16得票数 2

1回答

在收入报告中解析表时的Python、Scrapy问题

python、python-2.7、scrapy、scrapy-spider

这是 Rev = scrapy.Field() name = "es"我使用以下命令运行我

浏览 0提问于2016-09-27得票数 1

回答已采纳

1回答

Scrapy runspider命令行参数

python、python-3.x、scrapy、command-line-arguments

当我将数据写入数据存储时，我需要指定一个名称空间。对于脚本的每次运行，该名称空间并不相同。如何将命令行参数传递给scrapy runspider spider.py？我在stackoverflow上发现了另一篇文章，它提供了一种在使用scrapy crawl spider.py时传递参数的方法。爬行似乎对我不起作用。我需要一种使用runspider来做这件事的方法。有什么见解吗？

浏览 34提问于2020-10-07得票数 0

1回答

如何使Scrapy解析CSS

scrapy

我正在跟踪，从我当地的电影网站上刮起电影标题。我正在使用Scrapy和CSS解析来完成这个任务。下面是我的代码，它试图抓取这些信息 name = "cinema"如果有帮助，我将运行以下代码： scrapy runspide

浏览 5提问于2022-07-28得票数 0

1回答

Bash脚本:没有这样的文件或目录

python、bash、terminal、scrapy、cygwin

因此，我需要运行这个run.sh文件，并且无法使用windows默认的CMD。因此，我安装了Cygwin64终端，它自动读取文件，但在读取结束时，它发送了一个错误：echo "Starting scraper" scrapy runspider cinema_scraper.py -t json --nolog -o - > "mov

浏览 4提问于2017-01-31得票数 1

1回答

ImportError:无法导入名称ScrapyFileLogObserver

python、python-2.7、web-scraping、scrapy、scrapy-spider

在我的源代码中，我正确地将包设置为：有关信息，我使用最后一个版本的scrapy (Scrapy1.0.1)

浏览 0提问于2015-08-05得票数 3

回答已采纳

1回答

如何在Scrapy中迭代多个URL并在每次迭代后保存它们

python、pandas、web-scraping、scrapy、scrapy-spider

我可以刮从网站上的所有数据，但我无法保存他们的全部。它只保存了大约2000个条目，而实际上，它可能在2000以上。此外，我认为我编写的代码可以优化，但我无法这样做。) return dataimport scrapyimport pandas as pd c

浏览 0提问于2018-03-10得票数 0

回答已采纳

2回答

Scrapy: ImportError:没有名为管道的模块

python、python-2.7、scrapy、scrapy-spider

我有问题，让我的刮刀加载一个项目管道。在尝试添加自定义管道时，我得到了以下错误：我尝试过文档，但它并没有真正解释如何设置ITEM_PIPELINE选项路径。myproject.pipelines.PricePipeline': 300,} myproject从哪里来'USER_AGENT': 'Moz

浏览 2提问于2017-07-25得票数 1

回答已采纳

23回答

刮擦蜘蛛找不到错误

python、scrapy

这是Windows 7和python 2.7我的蜘蛛位于caps\caps\spiders\campSpider.py我加入了这个项目，然后尝试运行我犯了一个错误，就是找不到蜘蛛。spider = self.crawler.spiders.create(spname, **opts.spargs) File "c:\Python27\lib\site-p

浏览 6提问于2012-03-26得票数 43

回答已采纳

点击加载更多