scrapy.Request似乎无法回调url

文章/答案/技术大牛

发布

1回答

python、scrapy

我正在使用scrapy，在第一个"def parse“中，我试图调用一个url，然后在下一个"def”中，我试图抓取该url。但是，我似乎无法使scray.Request工作，它不会抓取网址。= urljoin('https://www.charleschurch.com/',href.extract()) # yield scrapy.Request(url, callback-10923&

浏览 32提问于2020-09-09得票数 0

回答已采纳

2回答

如何获取刮伤壳中的刮伤响应

python、python-2.7、scrapy、ipython、scrapy-spider

它们似乎都假设您知道如何立即解析响应对象，并且可以立即调用响应回调(例如scrapy.Request(url=url, callback=self.parse))。scrapy.Request(url=url)的响应似乎是我无法处理的(见屏幕截图)--不需要解析HTML -例如，没有.css方法。

浏览 4提问于2017-04-09得票数 2

回答已采纳

1回答

无法通过给定的链接抓取文本文件并将其存储在输出文件中

python-2.7、web-scraping、scrapy

def parse_item(self, response): yield scrapy.request('/tr[5]/td[2]/a/@href').

浏览 3提问于2017-05-27得票数 0

0回答

如何在同一位置使用Scrapy请求和获取响应？

python、callback、scrapy

我尝试过使用请求，但速度很慢，有时无法加载页面。response = scrapy.Request(url=variantUrl) sizes = response.xpath('sizesXpat

浏览 2提问于2018-07-13得票数 3

1回答

Scrapy.Spider:过列start_requests中的回调不会跳转到另一个自定义函数

python、python-3.x、scrapy

CustomSpider(scrapy.Spider): for url, args in self.urls: yield scrapy.Request(url=url, callback=self.parse_first_page, cb_kwargsscrapy.Request(url=next_url</e

浏览 2提问于2020-05-18得票数 0

回答已采纳

1回答

带有Scrapy的嵌套回调

html、python-3.x、web-scraping、scrapy、nested

所以我基本上做了一个刮刀和一个解析器来解析它找到的每一个品牌的URL，然后调用一个解析器来查找它们各自产品的URL。但是，这似乎不是执行嵌套回调的正确方法。Learning\DataScience\nosetime_scraper\nosetime_scraper\spiders\sephora.py", line 23, in parse yield scrapy.Request(url=base_url + url</em

浏览 5提问于2020-11-27得票数 0

回答已采纳

2回答

scrapy:了解项目和请求如何在回调之间工作

python、scrapy

我在与Scrapy做斗争，我不明白在回调之间传递项目到底是如何工作的。也许有人能帮我。= scrapy.Request("http://www.example.com/some_page.html", request = scrapy.Re

浏览 1提问于2015-11-07得票数 3

回答已采纳

1回答

Scrapy编码嵌套dict

python、web-scraping、python-requests、scrapy

yield scrapy.Request(url=self.url, cb_kwargs=params, callback=self.parse, headers=self.headers)我尝试了所有不同形式的编码和转储url + params

浏览 5提问于2022-11-29得票数 0

2回答

如何使用scrapy处理ajax数据

python、scrapy、scrapy-spider

text").extract_first() f = scrapy.Request(url='https://movie.douban.com/j/review/%s/full' % number, callback

浏览 2提问于2018-02-09得票数 0

回答已采纳

2回答

未调用Parse

python、csv、scrapy

我有下面的代码，我想在csv中循环通过url，对于每个url，我想运行一些选择器，并将数据返回到csv输出中。它似乎循环遍历了开始urls，但它引发了一个错误，说明没有定义解析。class CbdSitechekerSpider(scrapy.Spider): start_urls = [] start_urls.append(u

浏览 28提问于2019-10-08得票数 0

1回答

如何在满足条件时将被刮掉的项添加到集合中并执行？

python、scrapy

然后进行检查，当string为100时，执行回调，并将带有所有is的长url字符串传递给主提取函数。

浏览 1提问于2017-03-23得票数 0

1回答

Scrapy和rules

python、python-3.x、scrapy

route=product/category&path=33_61'] return [scrapy.Request(url=url, callback=self.parse_item) for url in urls] print("

浏览 15提问于2020-06-05得票数 0

回答已采纳

2回答

如何修复Scrapy在深度爬行中不起作用

html、hyperlink、web-scraping、scrapy、web-crawler

list to be scrawled yield scrapy.Request(url=url, callback=self.parse) page = Website(response.url

浏览 2提问于2017-03-01得票数 1

1回答

如何在“刮”中跟踪请求

python、web-scraping、scrapy

我有现在，当我进行抓取时，如果页面存在，当我尝试：但是必须要解决问题，首先，我不知道如何传递这个论点，其次，由于我没有按要求下订单，

浏览 3提问于2016-03-03得票数 1

回答已采纳

1回答

scrapy，为什么默认情况下scrapy.Request类调用parse()方法？

python、scrapy

为什么默认情况下scrapy.Request类调用解析()方法，而我不完全理解这个过程class Request(object_ref): cookies=None, meta=None_set_url(url) self.Cannot use err

浏览 2提问于2017-08-01得票数 2

回答已采纳

1回答

如何在Python中反转列表顺序，并在返回None时停止屈服？

python

.' # list full of URLs for url in self.start_urls: url = url, callback=self.parse, def parse(self,

浏览 2提问于2020-12-17得票数 0

3回答

将变量赋予具有产量的回调函数

python、scrapy

parse_each()在parse()中被调用 def parse(self, response):现在，我想向parse_each传递一些额外的参数class UtamapSpider(scrapy.Spider): def parse(sel

浏览 4提问于2021-12-17得票数 1

回答已采纳

1回答

Scrapy - TypeError：'Request‘对象不可迭代

python、scrapy

我试图迭代传递给scrapy请求的回调的URL返回列表，但是我得到了以下错误：下面的工作。我可以看到所有提取的URL都淹没了终端： name = 'pl' for genre in se

浏览 4提问于2017-07-30得票数 1

回答已采纳

1回答

如何找到外部404

python、scrapy

in LinkExtractor(allow=(), deny = self.allowed_domains).extract_links(response): self.logger.info('>>>>>>>>>> Reading: %s', resp

浏览 2提问于2016-04-15得票数 1

回答已采纳

2回答

python回调函数err

python-3.x、scrapy

我尝试过的代码在回调函数中出现了一个错误，但我无法解决它。是否有任何方法使我的代码可用，或者以列表格式进行回调？ name = 'app' for cb in urls: d

浏览 4提问于2021-11-25得票数 0

回答已采纳

点击加载更多