机器学习第1天：数据预处理
-----代码传送门 ----- -----数据传送门-----
一、预备知识
- pandas、numpy基本用法有所了解
- 对什么是机器学习有简单的了解
二、具体实现步骤
第1步：导入库
import numpy as np
import pandas as pd第2步：导入数据集
dataset = pd.read_csv('Data.csv')
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 3].values第3步：处理丢失数据
from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
imputer = imputer.fit(X[ : , 1:3])
X[ : , 1:3] = imputer.transform(X[ : , 1:3])第4步：解析分类数据
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])创建虚拟变量
onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()
labelencoder_Y = LabelEncoder()
Y = labelencoder_Y.fit_transform(Y)第5步：拆分数据集为训练集合和测试集合
from sklearn.model_selection import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)第6步：特征标准化
from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.transform(X_test)三、知识点详解
1. Imputer处理缺损数据
imputer = Imputer(missing_values = 'NaN', strategy="mean",axis=0)strategy取值支持三种，mean(均值)，median（中位数），most_frequent（众数），默认mean，axis=0表示按列进行
具体用法见：数据清洗（二）——缺失值处理
2. 关于fit()、transform()、fit_transform()
通俗的来讲fit()表示建立一个“词典”，transform()表示在建立的“词典”中查找单词，而fit_transform()表示先建立“词典”然后又在里面查找。
例如：有数据A、B、C，利用fit建立一个“词典”，在“词典”中A代表1、B代表2、C代表3，而后transform()通过“词典”将A转化为1、B转化为2、C转化为3。
labelencoder_Y.fit_transform(Y)
onehotencoder.fit_transform(X).toarray()
sc_X.fit_transform(X_train)fit_transform()前面的参数则代表有着不同规则的“词典”
比较规范的解释：fit()是为计算该类处理所需的相关参数，以标准化为例，fit()就是计算标准化所用到的均值与方差；而transform()函数则是利用fit()的结果作为参数对数据进行相应的处理，比如正规化。fit_transform()就是先调用fit()，后调用transform()。
3. StandardScaler标准化
StandardScaler标准化:将特征数据的分布调整成标准正太分布，也叫高斯分布，也就是使得数据的均值维0，方差为1。
标准化的原因在于如果有些特征的方差过大，则会主导目标函数从而使参数估计器无法正确地去学习其他特征。
更详细的解释见：预处理数据的方法总结
4. OneHotEncoder处理的原因
由于特征可能是连续型的也可能是类别型的变量，这些类别特征无法直接进入模型。要想使得类别型的变量能最终被模型直接使用，可以使用one-of-k编码或者one-hot编码。OneHotEncoder它可以将有n种值的一个特征变成n个二元的特征。
更详细的解释见：预处理数据的方法总结
5. LabelEncoder处理的原因
将数据标签化，利于模型的建立
有不足或者不对的地方欢迎留言指正！！！