我被百万行 CSV 逼疯时，CodeBuddy 丢给我一个 “作弊级” 优化方案

上周我接了个 “小活”：处理一份120 万行的设备运行日志 CSV，统计每个设备 ID 的日均运行时长，还要按小时段拆分分析。我信心满满打开 PyCharm，写了段 “看起来没问题” 的 Python 代码，然后… 见证了什么叫 “从希望到绝望的两分钟”。

一、开局自信：“这逻辑稳得一批”

需求核心是分组统计 + 时间切片。我写的代码逻辑是这样的：

1. 用pandas读取 CSV 到 DataFrame；
2. 遍历每一行数据，提取设备 ID 和时间戳；
3. 嵌套循环判断时间戳属于哪个小时段（0-23 点）；
4. 用字典手动统计每个设备、每个时段的时长总和。

核心代码（简化版）：

python

运行

import pandas as pd
from datetime import datetime

df = pd.read_csv("device_logs.csv")
result = {}

for index, row in df.iterrows():
    device_id = row["device_id"]
    timestamp = datetime.strptime(row["timestamp"], "%Y-%m-%d %H:%M:%S")
    hour = timestamp.hour
    
    if device_id not in result:
        result[device_id] = {h: 0 for h in range(24)}
    
    # 假设每行记录间隔1分钟，时长+1
    result[device_id][hour] += 1  

当时我还想：“120 万行而已，Python 循环再慢，撑死也就几分钟吧？”

二、现实毒打：“这脚本是在便秘吗？”

运行脚本后，PyCharm 的进度条像被施了 “缓慢咒”—— 前 10 秒还能看到行数跳动，10 秒后彻底停滞，CPU 狂飙到 90%，风扇开始 “起飞”，但终端里的打印日志（我加了每 1 万行输出一次的调试代码）再也没更新。

我盯着屏幕盯了 10 分钟，代码才处理了1.2 万行。按照这速度，120 万行得跑100 分钟，这还没算后续把结果转成报表的时间。客户要的是 “今天下班前”，我这进度怕是 “下周下班前” 都悬。

三、AI 救场：CodeBuddy 丢来 “降维打击” 方案

就在我准备放弃，甚至想手动拆分 CSV 文件分批次处理时，想起了新安装的 AI 编程助手CodeBuddy。我把代码复制进去，加了句 prompt：

「这段 Python 处理百万行 CSV 超级慢，能帮我优化性能吗？要统计每个 device_id 每小时的记录数，尽量少改逻辑。」

CodeBuddy 秒回，标红了我代码里的三大 “性能犯罪现场”：

1. df.iterrows() 是 “慢循环” 元凶：它的底层是逐行遍历，时间复杂度 O (n)，但实际执行效率极低，百万级数据必卡。
2. 手动字典嵌套统计 = 重复造轮子：Pandas 本身有groupby和pivot_table，能高效完成分组统计，我却用最原始的循环。
3. 时间解析用datetime.strptime太笨重：Pandas 的pd.to_datetime是向量化操作，比逐行解析快一个数量级。

四、“作弊级” 优化：一行代码提速 60 倍

按照 CodeBuddy 的建议，我把代码大改三行，直接 “脱胎换骨”：

优化后代码：

python

运行

import pandas as pd

# 1. 用pd.read_csv+pd.to_datetime 替代逐行strptime
df = pd.read_csv("device_logs.csv")
df["timestamp"] = pd.to_datetime(df["timestamp"])  # 向量化解析，秒级完成
df["hour"] = df["timestamp"].dt.hour  # 直接提取小时，无需循环

# 2. 用groupby+pivot_table 替代嵌套字典统计
result_df = df.groupby(["device_id", "hour"]).size().reset_index(name="count")
result_pivot = result_df.pivot(index="device_id", columns="hour", values="count").fillna(0)

# 3. 转成字典（如果需要原格式）
result = result_pivot.to_dict(orient="index")

运行新脚本，我甚至没来得及开风扇 ——3 秒不到，120 万行数据处理完毕，终端直接输出了统计结果。我反复检查了三次，确认数据准确无误，性能提升了60 多倍！

五、事后复盘：别让 “经验直觉” 坑了自己

这次被 AI “降维打击”，打醒了我一个误区：别用 “写脚本的直觉” 做大数据处理。Pandas 作为数据分析库，底层做了大量 C 语言优化和向量化操作，性能碾压纯 Python 循环。而 AI 工具能瞬间指出 “工具链级别的最优解”，这是个人经验很难覆盖的。

另外，AI 不是 “替代开发者”，而是 “放大开发者能力”—— 它能帮你跳出思维定式，直接抓核心性能瓶颈。就像这次，如果没有 CodeBuddy，我可能还在跟循环死磕，或者拆分成十几个小文件手动处理，既浪费时间又容易出错。