我使用Scrapy用python编写了一个脚本,以便使用身份验证从网站上抓取数据。我正在抓取的页面真的很痛苦,因为主要是由javascript和AJAX请求组成的。页面的所有主体都放在允许使用submit按钮更改页面的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一页抓取了所需的所有数据,然后使用以下代码更改了单击此输入按钮的页面: yi
我试图从一个网站上抓取数据,这个网站返回了跨越多个页面的搜索条件的结果……使用硒,Python上的精美汤。第一页很容易阅读。移动到下一页需要点击'>‘按钮。scraping the first page
#now need to click on the ">" , so that it can take me to the next page 控件应转到下一页,以便我可以抓取</em