问如何提取我的爬虫目前所站的网址？
EN

Stack Overflow用户

提问于 2016-11-27 00:31:23

回答 1查看 46关注 0票数 0

我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？

谢谢。

回答已采纳

发布于 2016-11-27 02:04:23

传递给parse()的“response”变量有您想要的信息。你不需要覆盖任何东西。

例如：

def parse(self, response):
    print "URL: " + response.url

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40824603

复制

相似问题

问如何提取我的爬虫目前所站的网址？EN