Python BeautifulSoup -抓取多个页面并将结果导出到CVS

Python BeautifulSoup是一个用于解析HTML和XML文档的Python库。它提供了简单且灵活的方式来从网页中提取数据，使得数据抓取变得更加容易。

使用BeautifulSoup可以实现抓取多个页面并将结果导出到CSV文件的功能。下面是一个完整的示例代码：

import requests
from bs4 import BeautifulSoup
import csv

# 定义要抓取的多个页面的URL列表
urls = ['https://example.com/page1', 'https://example.com/page2', 'https://example.com/page3']

# 创建一个空的结果列表
results = []

# 遍历每个页面的URL
for url in urls:
    # 发送HTTP请求获取页面内容
    response = requests.get(url)
    # 使用BeautifulSoup解析页面内容
    soup = BeautifulSoup(response.text, 'html.parser')
    # 根据页面结构提取需要的数据
    data = soup.find('div', class_='data').text
    # 将提取的数据添加到结果列表中
    results.append(data)

# 将结果导出到CSV文件
with open('results.csv', 'w', newline='') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['Data'])
    for result in results:
        writer.writerow([result])

在上面的示例代码中，我们首先定义了要抓取的多个页面的URL列表。然后，通过遍历每个页面的URL，发送HTTP请求获取页面内容，并使用BeautifulSoup解析页面内容。接着，根据页面结构提取需要的数据，并将提取的数据添加到结果列表中。最后，将结果导出到名为"results.csv"的CSV文件中。

推荐的腾讯云相关产品和产品介绍链接地址：