别再野蛮操作了！用Python优雅地搞定数据清洗

别再野蛮操作了！用Python优雅地搞定数据清洗

在大数据圈子里，流传着这样一句话：“80%的时间花在数据清洗，20%的时间花在抱怨数据太脏。”

这话不夸张，干过数据分析、建模、挖掘的人都知道，数据清洗才是真正考验耐心和技术的地方。

今天，咱们就用接地气的方式，聊聊怎么用Python，优雅又高效地搞定数据清洗，而不是一边ctrl+c/v，一边心态爆炸。

一、为啥数据清洗这么重要？

如果把数据比作食材，数据清洗就是洗菜、择菜、去泥巴的过程。

数据脏了，模型再牛，分析再花哨，出来的结果也没法吃。

常见的数据脏点包括：

• 缺失值
• 异常值
• 重复数据
• 格式不统一
• 文本脏乱（奇葩符号、乱码）
• 类型混乱（数字里藏着字符串）

现实里，数据的“脏”程度，远比你想象得惨烈。

二、Python清洗数据，主力军：pandas + numpy

要搞数据清洗，最核心的武器是：

• pandas：开箱即用的神器，适合表格型数据。
• numpy：打底工具，数组操作快准狠。

顺便一提，千万别死磕for循环搞清洗，那是体力活，要用向量化操作才能快准狠。

先来个开场白：

import pandas as pd
import numpy as np

# 造一份脏数据
data = {
    'name': ['Alice', 'Bob', np.nan, 'David', 'Eve', 'Alice '],
    'age': [25, np.nan, 35, 40, 22, 25],
    'salary': ['50000', '60000', 'seven thousand', '80000', '90000', '50000'],
    'date_joined': ['2021-01-01', '2021-02-15', 'unknown', '2021-03-10', '2021-04-01', '2021-01-01']
}
df = pd.DataFrame(data)
print(df)

生成的数据大概长这样：

一眼望去，问题一堆：

• 缺失名字、年龄
• 工资字段混入了文本
• 入职日期有个unknown
• Alice结尾带空格，可能导致重复

不清洗，分析个锤子。

三、实战拆招：逐一搞定这些脏东西

1. 缺失值处理（nan）

办法很多，常见的有：

• 删除
• 填补（均值、中位数、指定值）

示例：

# 删除有缺失的行
df = df.dropna(subset=['name', 'age'])

# 对缺失的'age'填充中位数（如果不想丢数据）
# median_age = df['age'].median()
# df['age'] = df['age'].fillna(median_age)

2. 字符串清理（空格、大小写、乱码）

去除名字字段的空格和统一大小写：

df['name'] = df['name'].str.strip().str.title()

这样，"Alice " 和 "alice" 也会被标准化为"Alice"。

3. 异常值处理（文本夹数字）

工资字段本来是数字，结果混进了"seven thousand"。

怎么救？强制转换，非法的直接设为NaN：

df['salary'] = pd.to_numeric(df['salary'], errors='coerce')

errors='coerce' 的意思是：遇到鬼数据别报错，直接给我转成NaN。

再补个均值：

mean_salary = df['salary'].mean()
df['salary'] = df['salary'].fillna(mean_salary)

4. 日期字段标准化

入职日期有"unknown"？直接转格式，错误的处理成NaT（缺失日期）。

df['date_joined'] = pd.to_datetime(df['date_joined'], errors='coerce')

5. 去重

最后别忘了，名字、年龄、工资、入职时间都一样的，很可能是重复记录，删了。

df = df.drop_duplicates()

四、小结一下：清洗套路总结

数据清洗，其实就三个动作：

1. 找问题：缺啥？乱啥？多啥？少啥？
2. 动手术：删？补？统一格式？拉到同一标准？
3. 再验收：眼神要毒，数据清洗也要回头看一眼。

而且记住，用pandas一行搞定的，绝不写for循环自虐。

五、现实比演示复杂得多

别小看这点清洗流程，真实业务场景，脏数据比这复杂得多。举几个常见的坑：

• 多国语言编码错乱
• 假数据混在真数据里
• 时间戳格式千奇百怪
• 各种隐藏符号（比如\u200b零宽空格）

所以清洗数据，不光是技术活，也是“阅脏无数”的经验活。见得多了，你自然知道该怎么优雅应对。

六、最后叨叨几句

• 千万别觉得数据清洗low，清洗的好坏直接决定了分析和建模的上限。
• 数据工程师、数据分析师、算法工程师，最根本的功夫其实都是在看谁更懂数据底层结构。
• 不要光盯着炫酷算法，先把数据喂干净再说，否则Garbage In, Garbage Out，永远跳不出泥潭。

真正厉害的人，连清洗数据都是优雅的。