微信公众号:yale记 关注可了解更多的教程问题或建议,请公众号留言。
在我们遇到的所有机器学习算法中,KNN很容易成为最简单的学习方法。 尽管它很简单,但是事实证明它在某些任务上非常有效(正如您将在本文中看到的那样)。
甚至更好? 它可以用于分类和回归问题! 但是,它广泛用于分类问题。 我很少看到在任何回归任务上实施KNN。我的目的是说明和强调当目标变量本质上是连续的时,KNN如何同样有效。
本文中,我们将首先了解KNN算法背后的直觉,探讨计算点之间距离的不同方法,然后最后在Big Mart Sales数据集上以Python实现该算法。 我们开始吧!
让我们从一个简单的例子开始。 考虑下表-它由10人的身高,年龄和体重(目标)值组成。 如您所见,ID11的权重值缺失。 我们需要根据其身高和年龄来预测其体重。
注意:此表中的数据不代表实际值。 它仅用作说明此概念的示例。
为了更清楚地了解这一点,以下是上表中身高与年龄的关系图:
上图中,y轴代表一个人的身高(以英尺为单位),x轴代表年龄(以年为单位)。 这些点根据ID值编号。 黄点(ID 11)是我们的测试点。
如果我要求您根据图表确定ID11的重量,您的答案是什么? 您可能会说,由于ID11 更接近点5和1,因此它的重量必须类似于这些ID,大约在72-77千克之间(表中ID1和ID5的重量)。 这实际上是有道理的,但是您认为该算法如何预测这些值? 我们将在本文中找到答案。
如上所述,KNN可用于分类和回归问题。 该算法使用“ 特征相似度 ”来预测任何新数据点的值。 这意味着,根据新点与训练集中的点的相似程度为其分配一个值。 从我们的示例中,我们知道ID11的身高和年龄类似于ID1和ID5,因此重量也将大致相同。
如果是分类问题,我们将采用该模式作为最终预测。 在这种情况下,我们有两个权重值– 72和77。您猜怎么计算最终值? 值的平均值被认为是最终预测。
以下是该算法的逐步说明:
选择最接近的k个数据点(基于距离)。 在此示例中,如果k的值为3,则将选择点1、5、6。我们将在本文后面进一步探讨选择正确的k值的方法。
这些数据点的平均值是对新点的最终预测。 在这里,我们的重量为ID11 =(77 + 72 + 60)/ 3 = 69.66 kg。
在接下来的几节中,我们将详细讨论这三个步骤。
第一步是计算新点与每个训练点之间的距离。 有多种计算此距离的方法,其中最常用的方法是– Euclidian,Manhattan(连续)和Hamming距离(绝对)。
3.汉明距离 :用于分类变量。 如果值(x)和值(y)相同,则距离D等于0。 否则,D = 1。
一旦测量了新观测值与训练集中各点的距离,下一步便是选择最接近的点。 要考虑的点数由k的值定义。
第二步是选择k值。 这决定了当我们给任何新观测值赋值时,我们观察的邻居数量。
在我们的示例中,对于值k = 3,最接近的点是ID1,ID5和ID6。
ID11的权重预测将是:
ID11 =(77 + 72 + 60)/ 3
ID11 = 69.66 kg
对于k = 5的值,最接近的点将是ID1,ID4,ID5,ID6,ID10。
ID11的预测为:
ID 11 =(77 + 59 + 72 + 60 + 58)/ 5
ID 11 = 65.2kg
我们注意到,基于k值,最终结果趋于变化。 那么我们如何找出k的最优值呢? 让我们根据训练和验证集的错误计算来决定(毕竟,将错误最小化是我们的最终目标!)。请查看以下图表,了解不同k值的训练误差和验证误差。
于非常低的k值(假设k = 1),模型对训练数据过度拟合,从而导致验证集的错误率很高。 另一方面,对于较高的k值,模型在训练集和验证集上的表现均较差。 如果仔细观察,验证误差曲线将在k = 9时达到最小值。该k值是模型的最佳值(对于不同的数据集,它会有所不同)。 该曲线称为“ 肘曲线 ”(因为它具有类似肘的形状),通常用于确定k值。您也可以使用网格搜索技术找到最佳的k值。 我们将在下一部分中实现它。
5.处理数据集(Python代码)
到目前为止,您必须对算法有清楚的了解。 如果您对此有任何疑问,请使用下面的评论部分,我们很乐意回答。现在,我们将继续在数据集上实现该算法。 我已经使用Big Mart销售数据集显示了实现,您可以从此链接下载它。
完整的Python代码在下面,但是我们在这里有一个非常酷的编码窗口,您可以在其中用Python编写自己的k最近邻居模型:
'''
The following code is for the K-Nearest Neighbors
Created by - ANALYTICS VIDHYA
'''
# importing required libraries
import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
# read the train and test dataset
train_data = pd.read_csv('train-data.csv')
test_data = pd.read_csv('test-data.csv')
# shape of the dataset
print('Shape of training data :',train_data.shape)
print('Shape of testing data :',test_data.shape)
# Now, we need to predict the missing target variable in the test data
# target variable - Survived
# seperate the independent and target variable on training data
train_x = train_data.drop(columns=['Survived'],axis=1)
train_y = train_data['Survived']
# seperate the independent and target variable on testing data
test_x = test_data.drop(columns=['Survived'],axis=1)
test_y = test_data['Survived']
'''
Create the object of the K-Nearest Neighbor model
You can also add other parameters and test your code here
Some parameters are : n_neighbors, leaf_size
Documentation of sklearn K-Neighbors Classifier:
https://scikit-learn.org/stable/modules/
generated/sklearn.neighbors.KNeighborsClassifier.html
'''
model = KNeighborsClassifier()
# fit the model with the training data
model.fit(train_x,train_y)
# Number of Neighbors used to predict the target
print('\nThe number of neighbors used to predict the target : ',\
model.n_neighbors)
# predict the target on the train dataset
predict_train = model.predict(train_x)
print('\nTarget on train data',predict_train)
# Accuray Score on train dataset
accuracy_train = accuracy_score(train_y,predict_train)
print('accuracy_score on train dataset : ', accuracy_train)
# predict the target on the test dataset
predict_test = model.predict(test_x)
print('Target on test data',predict_test)
# Accuracy Score on test dataset
accuracy_test = accuracy_score(test_y,predict_test)
print('accuracy_score on test dataset : ', accuracy_test)
1. 读取文件
import pandas as pd
df = pd.read_csv('train.csv')
df.head()
2. 估算缺失值
df.isnull().sum()
#missing values in Item_weight and Outlet_size needs to be imputed
mean = df['Item_Weight'].mean() #imputing item_weight with mean
df['Item_Weight'].fillna(mean, inplace =True)
mode = df['Outlet_Size'].mode() #imputing outlet size with mode
df['Outlet_Size'].fillna(mode[0], inplace =True)
3. 处理分类变量并删除id列
df.drop(['Item_Identifier', 'Outlet_Identifier'], axis=1, inplace=True)
df = pd.get_dummies(df)
4. 创建训练和测试数据集
from sklearn.model_selection import train_test_split
train , test = train_test_split(df, test_size = 0.3)
x_train = train.drop('Item_Outlet_Sales', axis=1)
y_train = train['Item_Outlet_Sales']
x_test = test.drop('Item_Outlet_Sales', axis = 1)
y_test = test['Item_Outlet_Sales']
5. 预处理–特征
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler(feature_range=(0, 1))
x_train_scaled = scaler.fit_transform(x_train)
x_train = pd.DataFrame(x_train_scaled)
x_test_scaled = scaler.fit_transform(x_test)
x_test = pd.DataFrame(x_test_scaled)
6. 让我们看一下不同k值的错误率
#import required packages
from sklearn import neighbors
from sklearn.metrics import mean_squared_error
from math import sqrt
import matplotlib.pyplot as plt
%matplotlib inline
rmse_val = [] #to store rmse values for different k
for K in range(20):
K = K+1
model = neighbors.KNeighborsRegressor(n_neighbors = K)
model.fit(x_train, y_train) #fit the model
pred=model.predict(x_test) #make prediction on test set
error = sqrt(mean_squared_error(y_test,pred)) #calculate rmse
rmse_val.append(error) #store rmse values
print('RMSE value for k= ' , K , 'is:', error)
输出 :
RMSE value for k = 1 is: 1579.8352322344945
RMSE value for k = 2 is: 1362.7748806138618
RMSE value for k = 3 is: 1278.868577489459
RMSE value for k = 4 is: 1249.338516122638
RMSE value for k = 5 is: 1235.4514224035129
RMSE value for k = 6 is: 1233.2711649472913
RMSE value for k = 7 is: 1219.0633086651026
RMSE value for k = 8 is: 1222.244674933665
RMSE value for k = 9 is: 1219.5895059285074
RMSE value for k = 10 is: 1225.106137547365
RMSE value for k = 11 is: 1229.540283771085
RMSE value for k = 12 is: 1239.1504407152086
RMSE value for k = 13 is: 1242.3726040709887
RMSE value for k = 14 is: 1251.505810196545
RMSE value for k = 15 is: 1253.190119191363
RMSE value for k = 16 is: 1258.802262564038
RMSE value for k = 17 is: 1260.884931441893
RMSE value for k = 18 is: 1265.5133661294733
RMSE value for k = 19 is: 1269.619416217394
RMSE value for k = 20 is: 1272.10881411344
#plotting the rmse values against k values
curve = pd.DataFrame(rmse_val) #elbow curve
curve.plot()
如我们所讨论的,当我们使k = 1时,我们得到非常高的RMSE值。 随着我们增加k值,RMSE值减小。 在k = 7时,RMSE约为1219.06,并且随着k值的进一步增加而增加。 我们可以肯定地说,在这种情况下,k = 7将为我们提供最佳结果。
这些是我们训练数据集的预测。 现在让我们预测测试数据集的值并进行提交。
7.对测试数据集的预测
#reading test and submission files
test = pd.read_csv('test.csv')
submission = pd.read_csv('SampleSubmission.csv')
submission['Item_Identifier'] = test['Item_Identifier']
submission['Outlet_Identifier'] = test['Outlet_Identifier']
#preprocessing test dataset
test.drop(['Item_Identifier', 'Outlet_Identifier'], axis=1, inplace=True)
test['Item_Weight'].fillna(mean, inplace =True)
test = pd.get_dummies(test)
test_scaled = scaler.fit_transform(test)
test = pd.DataFrame(test_scaled)
#predicting on the test set and creating submission file
predict = model.predict(test)
submission['Item_Outlet_Sales'] = predict
submission.to_csv('submit_file.csv',index=False)
提交此文件后,我得到的RMSE为1279.5159651297。
8.实施GridsearchCV
为了确定k的值,每次绘制肘曲线是一个繁琐而繁琐的过程。 您可以简单地使用gridsearch来找到最佳价值。
from sklearn.model_selection import GridSearchCV
params = {'n_neighbors':[2,3,4,5,6,7,8,9]}
knn = neighbors.KNeighborsRegressor()
model = GridSearchCV(knn, params, cv=5)
model.fit(x_train,y_train)
model.best_params_
输出:
{'n_neighbors': 7}