scrapy LinkExtractor(allow=(url))获取错误的爬行页面，regulex不工作
scrapy LinkExtractor(allow=(url))获取错误的爬行页面，regulex不工作
提问于 2015-05-08 09:22:01
我想爬行页面http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie。我的蜘蛛代码的一部分是：
class MovieSpider(CrawlSpider):
name = "doubanmovie"
allowed_domains = ["douban.com"]
start_urls = ["http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie"]
rules = (
Rule(LinkExtractor(allow=(r'http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie\?start=\d{2}'))),
Rule(LinkExtractor(allow=(r"http://movie.douban.com/subject/\d+")), callback = "parse_item")
)
def start_requests(self):
yield FormRequest("http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie",headers={'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:37.0) Gecko/20100101 Firefox/37.0'})我只想像"\?start=\d{2}“那样爬行页面，但是刮伤蜘蛛也会像"\?start=100”或"\?start=1000“一样爬行页面。它有什么问题？如何解决这个问题？提前谢谢。
回答 1
Stack Overflow用户
回答已采纳
发布于 2015-05-08 11:13:46
正则表达式\d{2}匹配以两位数开头的每个数字。
如果希望将正则表达式限制为两位数，则可以使用\d{2}$，使其仅在行尾有两个数字时匹配。
更普遍的做法是使用\d{2}\b，以便任何非字母数字值或空格都必须跟随。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/30120237
复制相关文章
相似问题
腾讯云开发者
