如何使用Scrapy + Splash单击同一页面上的两个按钮？

Scrapy是一个用于爬取网站数据的Python框架，而Splash是一个JavaScript渲染服务，可以使Scrapy能够处理JavaScript生成的内容。通过结合Scrapy和Splash，可以实现在同一页面上点击两个按钮的操作。

下面是使用Scrapy + Splash点击同一页面上两个按钮的步骤：

安装Scrapy和Splash：首先确保已经安装了Scrapy和Splash。可以使用pip命令进行安装。
配置Scrapy项目：创建一个Scrapy项目并进行配置。在项目的settings.py文件中，添加以下配置：

SPLASH_URL = 'http://localhost:8050'
DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}

创建Spider：在Scrapy项目中创建一个Spider，用于定义爬取的逻辑。在Spider的start_requests方法中，发送一个SplashRequest请求，指定要访问的URL和执行的JavaScript代码。

import scrapy
from scrapy_splash import SplashRequest

class MySpider(scrapy.Spider):
    name = 'my_spider'

    def start_requests(self):
        url = 'http://example.com'
        script = """
        function main(splash)
            splash:go(splash.args.url)
            splash:wait(1)
            splash:runjs("document.getElementById('button1').click();")
            splash:wait(1)
            splash:runjs("document.getElementById('button2').click();")
            splash:wait(1)
            return splash:html()
        end
        """
        yield SplashRequest(url, self.parse, endpoint='execute', args={'lua_source': script})

    def parse(self, response):
        # 处理爬取到的数据
        pass

在上述代码中，我们使用了SplashRequest发送了一个请求，并在JavaScript代码中模拟了点击两个按钮的操作。