爬虫入门指南(7):使用Selenium和BeautifulSoup爬取豆瓣电影Top250实例讲解【爬虫小白必看】

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from bs4 import BeautifulSoup
import openpyxl

url = 'https://movie.douban.com/top250'
driver_path = "chromedriver"  // 设置成你的路径 

service = Service(driver_path)

options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(service=service, options=options)

wb = openpyxl.Workbook()
sheet = wb.active
sheet.title = '豆瓣电影TOP250'
sheet['A1'] = '电影'
sheet['B1'] = '影评'

row_index = 2  # 从第二行开始写入数据

for page in range(0, 250, 25):
    # 构造带有翻页参数的URL
    page_url = f'{url}?start={page}'

    # 打开 URL
    driver.get(page_url)

    # 获取页面 HTML
    html = driver.page_source

    soup = BeautifulSoup(html, 'html.parser')
    movies = soup.find_all('div', class_='hd')

    for movie in movies:
        name = movie.a.span.text.strip()

        quote = movie.find_next('span', class_='inq')  # 查找下一个兄弟节点中的 <span class="inq">元素
        if quote:
            quote_text = quote.text.strip()
        else:
            quote_text = ''

        sheet.cell(row=row_index, column=1, value=name)
        sheet.cell(row=row_index, column=2, value=quote_text)
        row_index += 1

driver.quit()

wb.save('豆瓣电影TOP250.xlsx')

from selenium import webdriver  # 导入 Selenium 库中的 webdriver 模块，用于驱动浏览器进行自动化操作
from selenium.webdriver.chrome.service import Service  # 导入 Selenium 库中的 Chrome 服务模块，用于启动 ChromeDriver
from bs4 import BeautifulSoup  # 导入 BeautifulSoup 库，用于解析HTML页面
import openpyxl  # 导入 openpyxl 库，用于读写Excel文件

url = 'https://movie.douban.com/top250'  # 豆瓣电影TOP250的URL地址
driver_path = ""  # ChromeDriver的路径，需要设置为您本地的ChromeDriver路径

# 创建 ChromeDriver 服务
service = Service(driver_path)

# 配置 ChromeDriver
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 设置Chrome无头模式，即在后台运行浏览器，不弹出窗口
driver = webdriver.Chrome(service=service, options=options)  # 创建 ChromeDriver 实例

wb = openpyxl.Workbook()  # 创建一个新的Excel工作簿
sheet = wb.active  # 获取活动的工作表
sheet.title = '豆瓣电影TOP250'  # 设置工作表的名称为"豆瓣电影TOP250"
sheet['A1'] = '电影'  # 在第一行第一列（A1单元格）写入"电影"
sheet['B1'] = '影评'  # 在第一行第二列（B1单元格）写入"影评"

row_index = 2  # 行索引，从第二行开始写入数据

for page in range(0, 250, 25):  # 循环遍历每页，每页显示25部电影
    # 构造带有翻页参数的URL
    page_url = f'{url}?start={page}'

    # 打开 URL
    driver.get(page_url)

    # 获取页面 HTML
    html = driver.page_source

    soup = BeautifulSoup(html, 'html.parser')  # 使用BeautifulSoup解析HTML页面
    movies = soup.find_all('div', class_='hd')  # 查找所有class为'hd'的<div>元素，即电影信息所在的区块

    for movie in movies:
        name = movie.a.span.text.strip()  # 提取电影名称

        quote = movie.find_next('span', class_='inq')  # 查找下一个兄弟节点中的 <span class="inq">元素，即电影的影评
        if quote:
            quote_text = quote.text.strip()  # 若存在影评，则提取影评文本
        else:
            quote_text = ''  # 若不存在影评，则设置为空字符串

        sheet.cell(row=row_index, column=1, value=name)  # 在当前行的第一列写入电影名称
        sheet.cell(row=row_index, column=2, value=quote_text)  # 在当前行的第二列写入影评文本
        row_index += 1  # 行索引递增，准备写入下一行数据

# 关闭浏览器
driver.quit()

wb.save('豆瓣电影TOP250.xlsx')  # 将Excel文件保存为"豆瓣电影TOP250.xlsx"