我希望了解更多关于如何使用Scrapy登录网站。我看了一些文档和教程,最终来到了Using FormRequest.from_response() to simulate a user login。使用Chrome dev工具,我查看了从页面https://eventbrite.ca/signin/login登录后的“登录”响应。需要注意的是,当您尝试登录浏览器时,网页会将您引导至https:/
我想在抓取eventsbrite页面后转到下一页,但即使使用了Scrapy的Crawlspider,它也无法工作。下面是遍历页面的代码start_urls = ["https://www.eventbrite.com/d/nigeria-if next_page is not None:
next_page = response.urljoin(next