使用scrapy查找正确的分页选择器
使用scrapy查找正确的分页选择器
提问于 2019-01-18 08:38:04
我试着从这个论坛中提取数据：
https://schwangerschaft.gofeminin.de/forum/all
我从第一页获取数据。我使用css选择器'li.selected > a::attr(href)'不幸的是，我不能从其他页面获得所有其他数据。
xpath或css选择器的正确分页路径是什么？
Python：
import scrapy
class ForumSpider(scrapy.Spider):
name = "pregnancy"
def start_requests(self):
url = 'https://schwangerschaft.gofeminin.de/forum/all'
yield scrapy.Request(url, self.parse)
def parse(self, response):
for thread in response.css('div.af-thread-item'):
yield{
'threadTitle': thread.css('span.thread-title::text').extract_first(),
'username': thread.css('div.user-name::text').extract_first()
}
next_page = response.css('li.selected > a::attr(href)').extract_first()
if next_page is not None:
yield scrapy.Request(response.urljoin(next_page))HTML：
<nav class="af-pagination " role="navigation"><ul><li class="selected">
<a href="https://schwangerschaft.gofeminin.de/forum/all">1</a></li><li>
<a href="https://schwangerschaft.gofeminin.de/forum/all/p2">2</a></li><li>
<a href="https://schwangerschaft.gofeminin.de/forum/all/p3">3</a></li><li>
<a href="https://schwangerschaft.gofeminin.de/forum/all/p4">4</a></li><li>
<a href="https://schwangerschaft.gofeminin.de/forum/all/p5">5</a></li><li>
<a href="https://schwangerschaft.gofeminin.de/forum/all/p6">6</a></li><li>
<a href="https://schwangerschaft.gofeminin.de/forum/all/p7">7</a></li><li>
<a href="https://schwangerschaft.gofeminin.de/forum/all/p8">8</a></li><li>
...回答 2
Stack Overflow用户
回答已采纳
发布于 2019-01-18 08:39:54
尝试response.css('link[rel=next]::attr(href)').get()，这应该可以工作。
Stack Overflow用户
发布于 2019-01-18 09:02:15
考虑到这个网站导航栏的构建方式，我喜欢在这些情况下使用xpath。假设当前页面将有一个"selected“类，我将选择"selected”类，然后使用索引为1的“following sibling”语法来获得下面的标记。
在您的案例中：
response.xpath("//li[@class='selected']/following-sibling::li[1]/a/@href").extract_first()所以无论你在哪个页面，你都会动态地选择“下一页”。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54250214
复制相关文章
相似问题
Scrapy-查找正确的CSS选择器
获取正确的分页的Scrapy Xpath
使用scrapy进行分页
如何使用scrapy进行分页
SCRAPY分页:无限滚动分页
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
