机器学习第10天：集成学习

Nowl

发布于 2024-01-18 19:51:19

1110

发布于 2024-01-18 19:51:19

文章被收录于专栏：NowlNowl_AI

介绍

集成学习的思想是很直观的：多个人判断的结合往往比一个人的想法好

我们将在下面介绍几种常见的集成学习思想与方法

投票分类器

介绍

假如我们有一个分类任务，我们训练了多个模型：逻辑回归模型，SVM分类器，决策树分类器，然后我们看他们预测的结果，如果两个分类器预测为1，一个分类器预测为0，那么最后模型判断为1，采用的是一种少数服从多数的思想

代码

核心代码

引入投票分类器库，并创建模型

from sklearn.ensemble import VotingClassifier


log_model = LogisticRegression()
tree_model = DecisionTreeClassifier()
svc_model = SVC()

voting_model = VotingClassifier(
    estimators=[('lr', log_model), ('df', tree_model), ('sf', svc_model)],
    voting='hard'
)

voting_model.fit(x, y)

例子中创建了三个基础分类器，最后再组合成一个投票分类器

示例代码

我们在鸢尾花数据集上测试不同模型的分类效果

from sklearn.ensemble import VotingClassifier
from sklearn.svm import SVC
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split


iris = load_iris()
X = iris.data  # petal length and width
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

log_model = LogisticRegression()
tree_model = DecisionTreeClassifier()
svc_model = SVC()

voting_model = VotingClassifier(
    estimators=[('lr', log_model), ('df', tree_model), ('sf', svc_model)],
    voting='hard'
)

for model in (log_model, tree_model, svc_model, voting_model):
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    print(model, accuracy_score(y_test, y_pred))

运行结果

该示例代码可以看到各个模型在相同数据集上的性能测试，该示例的数据集较小，所以性能相差不大，当数据集增大时，集成学习的性能往往比单个模型更优

软投票与硬投票

当基本模型可以计算每个类的概率时，集成学习将概率进行平均计算得出结果，这种方法被称作软投票，当基本模型只能输出类别时，只能实行硬投票（以预测次数多的为最终结果）

bagging与pasting

介绍

除了投票分类这种集成方法，我们还有其他方法，例如：使用相同的基础分类器，但是每个分类器训练的样本将从数据集中随机抽取，最后再结合性能，若抽取样本放回，则叫做bagging方法，若不放回，则叫做pasting方法

核心代码

from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier


model = BaggingClassifier(
    DecisionTreeClassifier(), n_estimators=500,
    max_samples=100, bootstrap=True, n_jobs=-1
)

model.fit(X_train, y_train)

若基本分类器可以计算每个类的概率，BaggingClassifier自动执行软分类方法

bootstrap = True设置模型采用Bagging放回采样法

n_jobs参数代表用多少CPU内核进行训练何预测（-1代表使用所有可用内核）

设置为False时采用Pasting不放回采样法

随机森林

介绍

随机森林就是一种基本模型是决策树的Bagging方法，你可以使用BaggingClassifier集成DecisionTreeClassifier，也可以使用现成的库

代码

from sklearn.ensemble import RandomForestClassifier


model = RandomForestClassifier(n_estimators=100, max_leaf_nodes=16, n_jobs=-1)
model.fit(X_train, y_train)

max_leaf_nodes限制了子分类器的最大叶子节点数量