如何在scrapy中将结果从目标页面合并到当前页面？
如何在scrapy中将结果从目标页面合并到当前页面？
提问于 2011-12-12 05:38:08
需要在scrapy如何从一个页面获得链接的例子，然后沿着这个链接，从链接的页面获得更多的信息，并合并回来与第一页的一些数据。
回答 4
Stack Overflow用户
回答已采纳
发布于 2011-12-12 08:58:10
在第一页上部分填充您的项目，然后将其放入请求的meta中。当下一页的回调被调用时，它可以接受部分填满的请求，在其中放入更多的数据，然后返回它。
Stack Overflow用户
发布于 2012-04-11 11:14:07
Stack Overflow用户
发布于 2014-12-10 08:46:39
来自scrapy documntation的示例
def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] = item
return request
def parse_page2(self, response):
item = response.meta['item']
item['other_url'] = response.url
return item页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/8467700
复制相关文章
相似问题