需要在scrapy如何从一个页面获得链接的例子,然后沿着这个链接,从链接的页面获得更多的信息,并合并回来与第一页的一些数据。
发布于 2011-12-12 08:58:10
在第一页上部分填充您的项目,然后将其放入请求的meta中。当下一页的回调被调用时,它可以接受部分填满的请求,在其中放入更多的数据,然后返回它。
发布于 2012-04-11 11:14:07
发布于 2014-12-10 08:46:39
来自scrapy documntation的示例
def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] = item
return request
def parse_page2(self, response):
item = response.meta['item']
item['other_url'] = response.url
return item
https://stackoverflow.com/questions/8467700
复制相似问题