Python -如何格式化csv文件中的抓取数据？

基础概念

CSV（Comma-Separated Values）文件是一种常见的数据存储格式，其中的数据以逗号分隔。Python提供了多种库来处理CSV文件，如csv模块和pandas库。

类型

CSV文件主要分为两种类型：

标准CSV：数据以逗号分隔。
UTF-8编码的CSV：支持非ASCII字符。

应用场景

CSV文件常用于数据交换、日志记录、数据库备份等场景。

格式化CSV文件中的抓取数据

假设你已经使用某种方式（如requests库）抓取了一些数据，并希望将其格式化并保存到CSV文件中。以下是一个示例代码：

import csv

# 假设这是你抓取的数据
data = [
    {"name": "Alice", "age": 30, "city": "New York"},
    {"name": "Bob", "age": 25, "city": "Los Angeles"},
    {"name": "Charlie", "age": 35, "city": "Chicago"}
]

# 定义CSV文件的列名
fieldnames = ["name", "age", "city"]

# 写入CSV文件
with open('output.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    
    # 写入列名
    writer.writeheader()
    
    # 写入数据
    for row in data:
        writer.writerow(row)

解决常见问题

问题：CSV文件中的数据没有正确分隔

原因：可能是由于数据中包含逗号或换行符，导致分隔错误。

解决方法：使用csv.writer的quoting参数来处理特殊字符。

with open('output.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile, quoting=csv.QUOTE_ALL)
    writer.writerow(["name", "age", "city"])
    writer.writerow(["Alice", "30", "New York"])

问题：CSV文件中的中文字符显示乱码

原因：可能是由于文件编码不正确。

解决方法：确保文件以UTF-8编码打开和写入。

with open('output.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(["姓名", "年龄", "城市"])
    writer.writerow(["Alice", "30", "New York"])