算法原理
线性判别分析(Linear Discriminant Analysis, LDA)的原理比较简单,就是我们希望寻找到一条直线,然后我们将数据投影到这条直线上,使得这两种数据之间尽可能远离,并且同类数据尽可能聚集在一起。
代码实现
#coding=utf-8
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_classification
def LDA(X, y):
X1 = np.array([X[i] for i in range(len(X)) if y[i] == 0])
X2 = np.array([X[i] for i in range(len(X)) if y[i] == 1])
len1 = len(X1)
len2 = len(X2)
# 求均值向量u1,u2
miu1 = np.mean(X1, axis=0)
miu2 = np.mean(X2, axis=0)
# 求S_w
# \sum_0
conv1 = np.dot((X1 - miu1).T, (X1 - miu1))
# \sum_1
conv2 = np.dot((X2 - miu2).T, (X2 - miu2))
Sw = conv1 + conv2
# 计算w
w = np.dot(np.mat(Sw).I, (miu1 - miu2).reshape((len(miu1), 1)))
X1_new = np.dot(X1, w)
X2_new = np.dot(X2, w)
y1_new = [0 for i in range(len1)]
y2_new = [1 for i in range(len2)]
return X1_new, X2_new, y1_new, y2_new
def main():
X, y = make_classification(n_samples=500, n_features=2, n_redundant=0, n_classes=2,
n_informative=1, n_clusters_per_class=1, class_sep=0.5, random_state=10)
X1_new, X2_new, y1_new, y2_new = LDA(X, y)
# 可视化原始数据
plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)
plt.show()
# 可视化LDA降维后的数据
plt.plot(X1_new, y1_new, "bo")
plt.plot(X2_new, y2_new, "ro")
plt.show()
main()
结果
使用sklearn的make_classification产生两个分类的随机数据,可视化如下:
经过LDA之后,我们将每个数据的标签可视化出来:
可以看到LDA算法将我们的数据集很好的分开了,由此可以说明LDA是有效的。
思考
这里有个最大的缺点是这里的算法只能处理二分类,要处理多分类的话,需要在这个算法的基础上进行推广。请看明日推文。
本文分享自 GiantPandaCV 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!