Scrapy spider未知输出

文章/答案/技术大牛

发布

1回答

web-scraping、scrapy

我刚接触Scrapy (一般是webscraping)，对于一个学校项目，我试图从某个网站收集职位.I使用scrapy shell这是我的请求： In [19]: job = response.xpath

浏览 8提问于2020-03-25得票数 0

回答已采纳

1回答

尝试让Scrapy在Windows中使用Pycharm

python、python-2.7、scrapy、pycharm

我正在迁移到Windows，并希望让Scrapy与Pycharm一起工作。我尝试添加以下内容：以及更改- /Library/Python/2.7/site-packages/scrapy/cmdline.py我的输出如下所示- from scrapy import cmdline cmdline.execute("scrapy</em

浏览 0提问于2017-11-16得票数 0

1回答

在Linux中，如何将日志输出保存到生成后的文件中？

linux、command-line、scrapy

将记录的输出保存到文件中。但是，我仍然希望这样做，以跟踪一些在抓取过程中发生的ERROR。 

浏览 2提问于2017-04-20得票数 0

回答已采纳

2回答

类InstagramSpider(scrapy.Spider)：AttributeError：‘模块’对象没有属性'Spider‘

python、web-scraping、scrapy、instagram、instagram-api

/commands/crawl.py", line 43, in run return cls(settings.getlist('SPIDER_MODULES')) class

浏览 5提问于2017-03-01得票数 3

回答已采纳

3回答

Scrapy:覆盖以前导出文件的命令

python、scrapy、export、overwrite

scrapy crawl spider -o spider_ouput.csv 导出新的spider_output.csv时，Scrapy将其附加到现有的spider_output.csv中。我能想到两种解决方案，我已经读到(令我惊讶的是) Scrapy目前要做的 1。

浏览 18提问于2017-04-25得票数 3

回答已采纳

1回答

Python抓取如何查找更多命令

python、scrapy

我试图使用scrapy访问“爬行”命令，但它会引发“未知命令:爬行”错误。所以我想我必须去刮刮的地方然后从那里跑。不过，当我试着做这个的时候：Scrapy 1.4.0 - no active project这是我的项目文件：source.py source.pyc spider.py

浏览 1提问于2017-09-08得票数 1

回答已采纳

1回答

消除多个同名蜘蛛的抓取警告

scrapy

Scrapy警告我有多个同名的蜘蛛。正如下面的终端输出所解释的，我不知道为什么。 (env) MacBook-Air:scrapy_project username$ grep -rl name_of_spider ./bot/spiders/vendors/name_of_s

浏览 0提问于2020-05-05得票数 0

2回答

从脚本抓取总是会在抓取之后阻止脚本执行

python、twisted、scrapy

我正在按照这个指南从我的脚本中运行scrapy。以下是我的脚本的一部分： crawler.configure() crawler.crawl(spider) log.start() print它的工作方式应该是:访问页面，抓取需要的信息，

浏览 1提问于2013-02-09得票数 20

回答已采纳

5回答

嗨，我在scrapy上工作，我用scrapy startproject example创建了一个scrapy文件夹，并编写了爬行器来抓取url中的所有数据，我已经使用scrapy crawl spider_name但是我有一个要求，我需要用创建的单个爬虫文件运行scrapy，我的意思是单个py文件，类似于 python -u /path/to/spider_file_inside_scrapy_folder_created

浏览 1提问于2012-09-29得票数 8

回答已采纳

0回答

子过程调用Scrapy* -未被识别为内部或外部命令*

python、python-3.x、scrapy、subprocess

我正在尝试使用子进程调用运行scrapy爬行器，但它不接受任何参数，它知道什么是scrapy。例如：call(["scrapy"], shell=True)Scrapy 1.1.1 - project: instagramtest commands crawl Run

浏览 4提问于2016-12-21得票数 0

1回答

Scrapy打印字段，但不填充XML文件

python、xml、xpath、scrapy、scrapy-spider

终端的输出如下：<?xml version="1.0" encoding="utf-8"?>spider.py

浏览 3提问于2015-04-24得票数 1

回答已采纳

1回答

Python >如何将响应传递给蜘蛛的主函数

python、scrapy

示例代码： name = "exampleSpider" start_urls = ["https://www.example.com

浏览 4提问于2022-01-03得票数 0

回答已采纳

2回答

未调用Scrapy管道open_sider

python、screen-scraping、scrapy、web-crawler

这是我到目前为止所拥有的代码：import datetimefrom scrapy.xlib.pydispatchimport dispatcher def __init__(self): dispatcher.connect(self.open_<em

浏览 1提问于2012-10-09得票数 0

2回答

从Python运行的刮伤

python、web-scraping、debian、scrapy

我试图从Python中运行Scrapy。我正在看这段代码，其中()：from scrapy.crawler import Crawlerfrom scrapy import log spider我已经将我的蜘蛛项目命名为"s

浏览 8提问于2013-08-07得票数 3

回答已采纳

2回答

刮伤:蜘蛛破坏者(del)从未执行过

python、scrapy、destructor、scrapy-spider

我已经创建了一个运行良好的爬行器(它完成了应该做的事情)，但是当完成工作时，它不会执行析构函数代码(del)stuff stuff_1 当MySpider完成时，我如何执行我的“add-1”代码？

浏览 3提问于2015-07-09得票数 0

5回答

在脚本文件函数中获取Scrapy* crawler输出/结果*

python、scrapy、web-crawler、twisted、scrapy-spider

我使用脚本文件在scrapy项目中运行爬行器，并且爬行器记录爬虫的输出/结果。但是我想在脚本文件中使用爬行器输出/结果，在某些函数中，.I不想将输出/结果保存在任何文件或DB中。下面是从获取的脚本代码from scrapy.crawler import CrawlerRunnerd.addBoth(lambda _: rea

浏览 3提问于2016-10-25得票数 12

3回答

如何使用fields_to_export属性在BaseItemExporter中排序我的Scrapy数据？

python、csv、scrapy

如何在输出中排序CSV字段？我使用以下命令行获取CSV数据：根据fields_to_export Scrapy文档，我应该能够使用BaseItemExporter然而，这个问题已经有两年多的历史了，没有向Scrapy报告，也没有给出令人满意的答案，因为它需要对其中一个或两者进行黑客攻击：为了解决以前的一些问题，似乎已经解决了.

浏览 8提问于2013-12-24得票数 21

回答已采纳

2回答

从python脚本调用scrapy而不是创建JSON输出文件

python、json、web-crawler、scrapy

下面是我用来调用scrapy的python脚本，答案是 reactor.stop()from scrapy import log,signals class scraperma

浏览 4提问于2013-03-19得票数 3

2回答

CrawlerRunner不使用钩针抓取页面

python、python-3.x、scrapy、aws-lambda

(scrapy.Spider): urls = [ print ('Closed Spider: ', reason) def run_spi

浏览 0提问于2019-01-29得票数 0

5回答

在本地运行Scrapy中的所有爬行器

python、web-crawler、scrapy

有没有办法在不使用Scrapy守护进程的情况下运行Scrapy项目中的所有爬行器？过去有一种方法可以用scrapy crawl运行多个爬行器，但这种语法被删除了，Scrapy的代码也发生了很大的变化。我尝试创建自己的命令：from scrapy.utils.misc import load_object File "/usr&#

浏览 0提问于2013-03-22得票数 17

回答已采纳

点击加载更多