sklearn中的集成学习之Voting Classifier

生信编程日常

发布于 2020-11-03 15:52:42

1.9K0

发布于 2020-11-03 15:52:42

生活中我们找别人询问买东西、到多个医院问诊询问意见，这些其实都是集成学习。在机器学习中，我们可以对KNN、逻辑回归、SVM、决策树、神经网络等预测的结果进行投票，少数服从多数最终决定预测结果。在sklearn中提供了一个Voting Classifier的方法进行投票。这是属于集成学习的一种。Voting Classifier分为Hard和Soft两种方式。

1. Hard Voting Classifier

Hard方式其实就是我们用多种机器学习方法得到的结果进行投票，少数服从多数得到结果。比如KNN与逻辑回归预测结果为A，但是SVM预测结果为B，结果进行投票是A。

我们构造如下数据：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

X, y = datasets.make_moons(n_samples=500, noise=0.3, random_state=42)

plt.scatter(X[y==0,0],X[y==0, 1])
plt.scatter(X[y==1,0],X[y==1, 1])
plt.show()

Hard Voting实现：

from sklearn.ensemble import VotingClassifier
voting_clf = VotingClassifier(estimators=[
    ('log_clf', LogisticRegression()),
    ('svm_clf', SVC()),
    ('dt_clf', DecisionTreeClassifier(random_state=10)),
], voting='hard')


voting_clf.fit(X_train, y_train)
voting_clf.score(X_test, y_test)

2. Soft Voting Classifier

其实对于一种方法一票，少数服从多数的方法有时候是不合理的，更合理的方法应该是有权值的。类似于唱歌比赛的投票，专业评审的分值会高，普通观众的分值更低。如下图所示，能明显看出两者的差距。其实软投票就是计算得出不同方法的分类概率的均值，最后选择均值最高的作为预测结果。

Soft Voting的实现：

voting_clf = VotingClassifier(estimators=[
    ('log_clf', LogisticRegression()),
    ('svm_clf', SVC(probability=True)),
    ('dt_clf', DecisionTreeClassifier(random_state=10)),
], voting='soft')

voting_clf.fit(X_train, y_train)
voting_clf.score(X_test, y_test)

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

机器学习