如何在Python中抓取Kaggle数据集的无限滚动页面？

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 设置Chrome浏览器的驱动路径
driver_path = 'path_to_chromedriver'
# 创建Chrome浏览器实例
driver = webdriver.Chrome(driver_path)

# 打开Kaggle数据集页面
driver.get('https://www.kaggle.com/datasets')

# 等待页面加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'site-layout')))

# 模拟滚动页面
while True:
    # 获取当前页面的高度
    current_height = driver.execute_script('return document.documentElement.scrollTop || document.body.scrollTop;')
    # 执行JavaScript将页面滚动到底部
    driver.execute_script('window.scrollTo(0, document.documentElement.scrollHeight);')
    # 等待页面加载新数据
    wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'site-layout')))
    # 获取滚动后页面的高度
    new_height = driver.execute_script('return document.documentElement.scrollTop || document.body.scrollTop;')
    # 判断页面是否滚动到底部
    if new_height == current_height:
        break

# 获取数据集信息
dataset_elements = driver.find_elements(By.CLASS_NAME, 'dataset-item')
for element in dataset_elements:
    # 解析数据集信息并进行处理
    # ...

# 关闭浏览器
driver.quit()