比如我们有一个样本x1,我们在它的原始高维邻域里用K-近邻思想找到和它最近的三个样本x2,x3,x4. 然后我们假设x1可以由x2,x3,x4线性表示,即:
?
其中w12,w13,w14为权重系数。...在通过LLE降维后,希望x1在低维空间对应的投影x1′,同时x2,x3,x4对应的投影x2′,x3′,x4′也尽量保持同样的线性关系,即
?...现在将矩阵化的两个式子用拉格朗日子乘法合为一个优化目标:
?
对W求导并令其值为0得:
?
其中 λ′=−0.5*λ为一个常数。权重系数Wi为:
?...3) 由权重系数向量Wi组成权重系数矩阵W,计算矩阵M=(I−W)T(I−W)。
4) 计算矩阵M的前d+1个特征值,并计算这d+1个特征值对应的特征向量{y1,y2,...yd+1}。...5)由第二个特征向量到第d+1个特征向量所张成的矩阵即为输出低维样本集矩阵D′=(y2,y3,...yd+1)
LLE总结
LLE是广泛使用的图形图像降维方法,实现简单,但对数据的流形分布特征有严格的要求