异常值检测！最佳统计方法实践（代码实现）！⛵
数据集中的异常值，对于数据分布、建模等都有影响。本文讲解两大类异常值的检测方法及其Python实现：可视化方法（箱线图&直方图）、统计方法（z分数&四分位距）。
💡 作者：韩信子@ShowMeAI 📘 Python3◉技能提升系列：https://www.showmeai.tech/tutorials/56 📘 数据分析实战系列：https://www.showmeai.tech/tutorials/40 📘 本文地址：https://www.showmeai.tech/article-detail/336 📢 声明：版权所有，转载请联系平台与作者并注明出处 📢 收藏ShowMeAI查看更多精彩内容
💡 异常值 Q&A
异常值是距离其他数据值太远的数据点，也被称为离群点。它可能是自然发生的，也可能是由于测量不准确、拼写错误或系统故障造成的。异常值也可能出现在倾斜数据中，这些类型的异常值被认为是自然异常值。
了解异常值检测与分析的基础知识，请查看 ShowMeAI](https://www.showmeai.tech/) 这篇文章：
💦 异常值对分布有什么影响？
异常值会影响数据的均值、标准差和四分位数值。如果我们在去除异常值之前和之后计算这些统计数据，可能会有比较大的差异。
💦 异常值对机器学习模型有什么影响？
- 如果认为异常值是自然的，不是由于测量错误产生的 → 应该将其保留在数据集中，并用『标准化』等数据预处理方式处理。
- 如果有一个包含少量异常值的大型数据集 → 应该将其保留，不会显著影响结果。
- 如果确定异常值是由测量误差造成的 → 应该将它们从数据集中删除。
去除异常值会带来数据集规模的减小，而且模型的适用性也会限制在输入值的度量范围内，丢弃自然异常值也可能导致模型不准确。
💡 基于可视化的异常值检测
异常值不容易被『肉眼』检测到，但我们有一些可视化工具可以帮助完成这项任务。最常见的是箱线图和直方图。我们这里用 🏆保险数据来做一个讲解：
🏆 实战数据集下载（百度网盘）：公✦众✦号『ShowMeAI研究中心』回复『实战』，或者点击 这里 获取本文 [29]基于统计方法的异常值检测代码实战 『insurance数据集』
⭐ ShowMeAI官方GitHub：https://github.com/ShowMeAI-Hub
我们首先导入必要的库并加载数据集。
import numpy as np
import pandas as pd
import seaborn as sns
import statistics#Load dataset:
df = pd.read_csv('insurance.csv')
df我们对变量『年龄』、『体重指数』和『费用』进行异常值检测分析。
第一种方法是使用箱线图 / Box-Plots 来绘制数据分布：
# age, bmi 和 expenses的箱线图绘图
sns.boxplot(y="age", data=df)
sns.boxplot(y="bmi", data=df)
sns.boxplot(y="expenses", data=df)通过查看箱线图，我们可以看到变量 age 没有异常值，变量 bmi 在上限中有一些异常值，而变量 expense 在上限中有一系列异常值（表明存在偏态分布）。
为了检查偏态分布，我们再使用直方图绘图：
# age, bmi 和 expenses的直方图
sns.histplot(df, x="age", kde=True)
sns.histplot(df, x="bmi", kde=True)
sns.histplot(df, x="expenses", kde=True)通过直方图，我们可以看到变量『age』是近似均匀分布，『bmi』接近正态分布，而『expense/费用』则呈偏态分布。
对于年龄，我们无需做异常值剔除；对于 bmi，我们将剔除高于 47 的值；对于费用，我们将剔除高于 50000 的值。
#bmi 和 expenses 的异常值处理
df.drop(df[df['bmi'] >= 47].index, inplace = True)
df.drop(df[df['expenses'] >= 50000].index, inplace = True)现在，如果我们再次检查箱线图和直方图：
💡 基于统计方法的异常值检测
检测异常值有两种主要的统计方法：使用 z 分数和使用四分位距。
💦 使用 z 分数检测异常值
Z 分数是一种数学变换，它根据每个观测值与平均值的距离对其进行分类。z-score 的计算公示为：
我们定义异常检测标准：如果 z-score 小于 -3或 z-score 大于 3。
我们将重新加载数据集，因为我们在前面的示例中对其进行了更改，加载后的数据上我们会把变量转换为 z 分数：
# 重新加载数据
df = pd.read_csv('insurance.csv')
# 为age计算均值和标准差
mean_age = statistics.mean(df['age'])
stdev_age = statistics.stdev(df['age'])
# 计算z值
age_z_score = (df['age']-mean_age)/stdev_age
# 添加z结果到原dataframe
df['age_z_score'] = age_z_score.tolist()现在我们将检查高于 3SD 或低于 -3SD 的值：
# 检测小于-3SD的值:
df.sort_values(by=['age_z_score'], ascending=True)我们可以看到 -3SD 以下没有值。我们现在将检查 3SD 以上的值：
# 检测+3SD以上的值:
df.sort_values(by=['age_z_score'], ascending=False)我们可以看到没有高于 3SD 的值。变量年龄没有异常值。
现在我们将对变量 bmi 执行相同的操作：
# 为bmi计算均值和标准差
mean_bmi = statistics.mean(df['bmi'])
stdev_bmi = statistics.stdev(df['bmi'])
# 为bmi计算z-score
bmi_z_score = (df['bmi']-mean_bmi)/stdev_bmi
# 添加到原始dataframe
df['bmi_z_score'] = bmi_z_score.tolist()
# 检查低于-3SD的值
df.sort_values(by=['bmi_z_score'], ascending=True)
# 检查大于3SD的值
df.sort_values(by=['bmi_z_score'], ascending=False)这次我们会发现一些高于 3SD 的值：
我们对它进行剔除：
# 异常值处理
df.drop(df[df[‘bmi_z_score’] >= 3].index, inplace = True)我们将对『expense/费用』应用相同的技术：
# 为expenses计算均值和标准差
mean_expenses = statistics.mean(df['expenses'])
stdev_expenses = statistics.stdev(df['expenses'])
# 计算z-score
expenses_z_score = (df['expenses']-mean_expenses)/stdev_expenses
# 添加到原始dataframe
df['expenses_z_score'] = expenses_z_score.tolist()
# 检查低于-3SD的值
df.sort_values(by=['expenses_z_score'], ascending=True)
# 检查高于3SD的值
df.sort_values(by=['expenses_z_score'], ascending=False)
# 异常值处理
df.drop(df[df[‘expenses_z_score’] >= 3].index, inplace = True)如果我们再次检查箱线图和直方图，我们将获得：
💦 使用四分位距检测异常值
四分位间距将数据分为四个部分，从低到高排序，如下图所示，每个部分包含相同数量的样本。第一个四分位数（Q1）是边界中数据点的值。这同样适用于 Q2 和 Q3。 四分位距（IQR）是两个中间部分的数据点（代表 50% 的数据）。四分位距包含高于 Q1 和低于 Q3 的所有数据点。如果该点高于 Q3 + (1.5 x IQR)，则存在较高的异常值，如果 Q1 - (1.5 x IQR)，则存在较低的异常值。
代码实现如下：
# 重新加载数据
df = pd.read_csv('insurance.csv')
# 计算上下四分位数位置
q75_age, q25_age = np.percentile(df['age'], [75 ,25])
iqr_age = q75_age - q25_age
iqr_age
# 计算上下边界以用于异常检测
age_h_bound = q75_age+(1.5*iqr_age)
age_l_bound = q25_age-(1.5*iqr_age)
print(age_h_bound)
print(age_l_bound)我们计算得到上边界 87 和下边界 -9：
# 排序
df.sort_values(by=['age'], ascending=True)# 排序
df.sort_values(by=['age'], ascending=False)我们看到没有异常值。
我们对变量 bmi 执行相同的操作：
# 计算上下四分位数位置
q75_bmi, q25_bmi = np.percentile(df['bmi'], [75 ,25])
iqr_bmi = q75_bmi - q25_bmi
iqr_bmi
# 计算上下边界以用于异常检测
bmi_h_bound = q75_bmi+(1.5*iqr_bmi)
bmi_l_bound = q25_bmi-(1.5*iqr_bmi)
print(bmi_h_bound)
print(bmi_l_bound)
# 排序
df.sort_values(by=['bmi'], ascending=True)
df.sort_values(by=['bmi'], ascending=False)
# 剔除异常值
df.drop(df[df['bmi'] >= 47.3].index, inplace = True)
df.drop(df[df['bmi'] <= 13.7].index, inplace = True)我们只需要对可变费用做同样的事情，我们将获得以下箱线图和直方图：
参考资料
- 📘 图解数据分析 | 数据清洗与预处理：https://www.showmeai.tech/article-detail/138
腾讯云开发者
