从magibricks.com中抓取数据
从magibricks.com中抓取数据
提问于 2018-08-22 12:46:30
我试图从magicbricks.com中抓取数据，但当我试图通过手动单击页面底部的第二个页面来更改页面时，页面链接保持不变。我得到了同样的数据。我如何加载剩余的页面。
例如:这是第一页的链接。
第二个页面的链接是相同的，只是页面内容发生了变化
import pandas as pd
from pandas import ExcelWriter
import requests,re,csv
from bs4 import BeautifulSoup
for i in range(1,5): # Number of pages plus one
url = "https://www.magicbricks.com/property-for-sale/residential-
real-estate?bedroom=1,2,3,4,5,%3E5&proptype=Multistorey-
Apartment,Builder-Floor-Apartment,Penthouse,Studio-
Apartment,Residential-House,Villa,Residential-
Plot&cityName=Mumbai".format(i);
r = requests.get(url)
soup = BeautifulSoup(r.content)我想从这个网站上抓取500个条目
回答 1
Stack Overflow用户
发布于 2021-04-15 18:16:26
尝试使用selenium来实现这个browser.execute_script("window.scrollTo(0，document.body.scrollHeight);")和这段代码来滚动
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51960036
复制相关文章
相似问题
腾讯云开发者
