我试图从一个网站上抓取数据,这个网站返回了跨越多个页面的搜索条件的结果……使用硒,Python上的精美汤。第一页很容易阅读。移动到下一页需要点击'>‘按钮。lat=dfdfd ")soup = BeautifulSoup(page, 'html.parser')#now need to click on the ">&
所以我试着抓取this新闻网站。我可以在那里从每个主题中抓取新闻文章。但有时文章页面会包含多个页面,比如this。下一页具有与第一页相同的HTML结构。如果下一页中有多个页面,有没有办法自动抓取下一页的其余文章?这是我的代码: import requestsimport pandas as pd
detik = r