Python人工智能：基于sklearn的数据预处理方法总结

from sklearn.preprocessing import MinMaxScaler

data = [[-3, 4], [-1, 7], [-0.3, 5], [0, 4], [4, 6]]
print("data数据归一化之前的结果:\n{}".format(data))

# 数据归一化处理
scaler = MinMaxScaler()     # 实例化归一化方法
scaler = scaler.fit(data)   # 对数据data进行归一化处理
result = scaler.transform(data) # 归一化结果
print("\ndata数据归一化之后的结果:\n{}".format(result))

# 由归一化后的数据转换为原始数据
result_inverse = scaler.inverse_transform(result)
print("\n由数据归一化之后的结果转换为原始数据:\n{}".format(result_inverse))

from sklearn.preprocessing import StandardScaler

data = [[-3, 4], [-1, 7], [-0.3, 5], [0, 4], [4, 6]]
print("data数据标准化之前的结果:\n{}".format(data))

# 数据标准化处理
scaler = StandardScaler()   # 实例化标准化方法
scaler = scaler.fit(data)   # 对数据data进行标准化处理
result = scaler.transform(data) # 标准化后的结果
print("\ndata数据标准化之后的结果:\n{}".format(result))

# 由标准化后的数据转换为原始数据
result_inverse = scaler.inverse_transform(result)
print("\n由数据标准化之后的结果转换为原始数据:\n{}".format(result_inverse))

print("标准化的列平均值:", scaler.mean_)
print("\n标准化的列方差值:", scaler.var_)

import pandas as pd

# 数据集简化
# (1) 导入数据集并查看数据集信息
train_data = pd.read_csv(
    './data_prepro/train.csv',  # 数据集的位置
    index_col=0,
)
train_data.head()

# (2) 只留下Age、Sex、Embarked与Survived列
train_data.drop(
    [
        "PassengerId", "Pclass", "Name", "SibSp",
        "Parch", "Ticket", "Fare", "Cabin"
    ],              # 需要删除的列
    inplace=True,   # 替换原始数据train_data
    axis=1          # 对列进行操作
)

# (3) 对列进行重新排序：[Survived, Sex, Age, Embarked] --> [Age, Sex, Embarked, Survived]
train_data = train_data.reindex(
    columns=['Age', 'Sex', 'Embarked', 'Survived']
)

train_data.head()

class sklearn.impute.SimpleImputer(
    missing_values=nan,
    strategy='mean',
    fill_value=None,
    copy=True
)

train_data.info()

# (1) 年龄属性Age的缺失值中位数填充
# 由于sklearn中能够处理的数据为矩阵，下面得到年龄矩阵
Age = train_data.loc[:, "Age"].values.reshape(-1,1)

# 下面使用SimpleImputer来对Age属性的缺失值进行处理
from sklearn.impute import SimpleImputer

# 实例化一个缺失值处理的对象，其填充方法使用特征的中位数填充策略
imp_median = SimpleImputer(strategy='median')
# 对年龄属性进行缺失值的中位数填充
Age_imp = imp_median.fit_transform(Age)
# 将填充后的Age_imp替换到原始的数据中
train_data.loc[:, "Age"] = Age_imp

# 此时再查看Age的属性信息
train_data.loc[:, "Age"].info()

# (2) 登船港口属性Embarked的缺失值众数填充
# 由于sklearn中能够处理的数据为矩阵，下面得到Embarked矩阵
Embarked = train_data.loc[:, "Embarked"].values.reshape(-1,1)

# 下面使用SimpleImputer来对Embarked属性的缺失值进行处理
from sklearn.impute import SimpleImputer

# 实例化一个缺失值处理的对象，其填充方法使用特征的众数填充策略
imp_freq = SimpleImputer(strategy='most_frequent')
# 对年龄属性进行缺失值的众数填充
Embarked_imp = imp_freq.fit_transform(Embarked)
# 将填充后的Embarked_imp替换到原始的数据中
train_data.loc[:, "Embarked"] = Embarked_imp

# 此时再查看Embarked的属性信息
train_data.loc[:, "Embarked"].info()

train_data.isnull().any()

from sklearn.preprocessing import LabelEncoder

# sklearn中对于标签的处理可以是列表或者Series，所以这里不需要转换为矩阵
y = train_data.iloc[:, -1]

le = LabelEncoder()     # 实例化一个标签编码对象
le = le.fit(y)          # 导入需要处理的标签
label = le.transform(y) # 获取编码后的数值分类标签

# 查看转换后的数值分类标签label结果
print("转换后的数值分类标签结果为:\n{}\n".format(label))

# 我们可以通过标签编码对象le的classes_属性查看标签中具有多少类别
print("原始标签中具有的类别:\n{}.\n".format(le.classes_))

# 将转换后的label标签替换到train_data中
train_data.loc[:, "Survived"] = label
train_data.head()

from sklearn.preprocessing import OneHotEncoder
import numpy as np

# 获取需要转换的特征数据，并将其转换为二维矩阵
Sex = np.array(train_data.loc[:, "Sex"]).reshape(-1,1)
Embarked = np.array(train_data.loc[:, "Embarked"]).reshape(-1,1)

# 导入需要进行编码处理的特征数据
enc_sex = OneHotEncoder(categories='auto').fit(Sex)
enc_embark = OneHotEncoder(categories='auto').fit(Embarked)

# 得到独热码的编码结果
Sex_result = enc_sex.transform(Sex).toarray()
Embarked_result = enc_embark.transform(Embarked).toarray()

# 将两者横向拼接，进而将其拼接到train_data中
Sex_Embarked_New = pd.concat(
    [pd.DataFrame(Sex_result), pd.DataFrame(Embarked_result)], axis=1
)
train_data = pd.concat(
    [train_data, Sex_Embarked_New],
    axis=1
)
train_data.drop(["Sex", "Embarked"], axis=1, inplace=True)

# 查看性别属性与登船港口的类别名，将其作为列名
Sex_col_names = enc_sex.get_feature_names()
Embarked_col_names = enc_embark.get_feature_names()

# 修改新添加的列的列名
train_data.columns = [
    "Age", "Survived", *Sex_col_names.tolist(), *Embarked_col_names.tolist()
]

train_data.head()