三维空间中n个最近邻域的knn实现

基础概念

K-近邻算法（K-Nearest Neighbors, KNN）是一种基于实例的学习方法，用于分类和回归任务。在三维空间中，KNN的目标是找到给定点的K个最近邻点，并根据这些邻点的属性来预测该点的属性。

类型

分类KNN：用于分类任务，根据K个最近邻的类别进行投票决定新样本的类别。
回归KNN：用于回归任务，取K个最近邻的平均值或加权平均值作为预测结果。

应用场景

图像识别：通过比较像素特征来识别图像内容。
推荐系统：根据用户的历史行为找到相似用户进行推荐。
医疗诊断：根据病人的症状和其他病例进行疾病预测。

实现步骤

数据预处理：标准化或归一化数据，确保所有特征在同一尺度上。
距离计算：计算待预测点与训练集中每个点的距离，常用的距离度量有欧氏距离、曼哈顿距离等。
排序与选择：根据距离对训练集点进行排序，选择距离最小的K个点。
决策规则：对于分类问题，采用多数表决法；对于回归问题，计算平均值。

示例代码（Python）

以下是一个简单的三维空间KNN分类实现示例：

import numpy as np
from collections import Counter

def euclidean_distance(point1, point2):
    return np.sqrt(np.sum((point1 - point2) ** 2))

class KNNClassifier:
    def __init__(self, k=3):
        self.k = k
    
    def fit(self, X_train, y_train):
        self.X_train = X_train
        self.y_train = y_train
    
    def predict(self, X_test):
        predictions = [self._predict(x) for x in X_test]
        return np.array(predictions)
    
    def _predict(self, x):
        distances = [euclidean_distance(x, x_train) for x_train in self.X_train]
        k_indices = np.argsort(distances)[:self.k]
        k_nearest_labels = [self.y_train[i] for i in k_indices]
        most_common = Counter(k_nearest_labels).most_common(1)
        return most_common[0][0]

# 示例数据
X_train = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
y_train = np.array([0, 1, 0])
X_test = np.array([[2, 3, 4], [5, 6, 7]])

# 创建并训练模型
knn = KNNClassifier(k=2)
knn.fit(X_train, y_train)

# 预测
predictions = knn.predict(X_test)
print(predictions)  # 输出预测类别