使用selenium打开具有相同类的多个文章并从中抓取数据

from selenium import webdriver

# 设置Chrome浏览器驱动路径
driver_path = "path/to/chromedriver"

# 创建Chrome浏览器实例
driver = webdriver.Chrome(executable_path=driver_path)

# 打开目标网页
driver.get("https://example.com")

# 定位搜索框并输入文章类别关键词
search_box = driver.find_element_by_id("search-box")
search_box.send_keys("文章类别关键词")

# 提交搜索表单
search_box.submit()

# 定位搜索结果列表
results = driver.find_elements_by_class_name("result-item")

# 遍历搜索结果并获取文章链接
article_links = []
for result in results:
    link = result.find_element_by_tag_name("a").get_attribute("href")
    article_links.append(link)

for article_link in article_links:
    # 打开文章网页
    driver.get(article_link)

    # 定位并抓取数据
    title = driver.find_element_by_css_selector("h1.article-title").text
    content = driver.find_element_by_css_selector("div.article-content").text

    # 处理数据（例如存储、分析等）
    process_data(title, content)

# 关闭浏览器实例
driver.quit()