本文为《机器学习实战:基于Scikit-Learn和TensorFlow》的读书笔记。 中文翻译参考
《统计学习方法》提升方法(Boosting)笔记
集成学习:集体的智慧大于个人
使用不同的算法得到不同的分类器
from sklearn.datasets import make_moons
from sklearn.model_selection import train_test_split
X, y = make_moons(n_samples=100,shuffle=True, noise=10)
# help(train_test_split)
X_train, X_test, y_train, y_test = train_test_split(X,y)
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
log_clf = LogisticRegression()
rnd_clf = RandomForestClassifier()
svm_clf = SVC()
voting_clf = VotingClassifier(estimators=[('lr', log_clf), ('rf', rnd_clf),
('svc', svm_clf)], voting='hard')
voting_clf.fit(X_train, y_train)
from sklearn.metrics import accuracy_score
for clf in (log_clf, rnd_clf, svm_clf, voting_clf):
clf.fit(X_train, y_train)
y_pred = clf.predict(X_test)
print(clf.__class__.__name__, accuracy_score(y_test, y_pred))
LogisticRegression 0.68
RandomForestClassifier 0.52
SVC 0.56
VotingClassifier 0.6
对每个分类器使用相同的训练算法(在不同的训练集上训练)
所有的分类器被训练后,集成通过对所有分类器结果的简单聚合来预测
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
bag_clf = BaggingClassifier(DecisionTreeClassifier(), n_estimators=500,
max_samples=100, bootstrap=True, n_jobs=-1)
bag_clf.fit(X_train, y_train)
y_pred = bag_clf.predict(X_test)
采用集成方法的决策树分类效果更好
bagging 中有放回采用中,总有些是从未被采到的,可以用来做效果评估
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
bag_clf = BaggingClassifier(DecisionTreeClassifier(), n_estimators=500,bootstrap=True, n_jobs=-1, oob_score=True)
bag_clf.fit(X_train, y_train)
bag_clf.oob_score_ # oob集的预测准确率
bag_clf.oob_decision_function_ # 每个oob实例的决策概率
BaggingClassifier
也支持采样特征
max_features
和bootstrap_features
控制max_samples
和bootstrap
一样,但这是对于特征采样而不是实例采样在处理高维度输入下(例如图片)此方法尤其有效
实例
和特征
都采样被叫做随机贴片仅对特征采样
(bootstrap_features=True并且/或者max_features小于 1.0)叫做随机子空间采样特征 导致 更多的预测多样性,用高偏差换低方差
from sklearn.ensemble import RandomForestClassifier
rnd_clf = RandomForestClassifier(n_estimators=500, max_leaf_nodes=16, n_jobs=-1)
rnd_clf.fit(X_train, y_train)
y_pred_rf = rnd_clf.predict(X_test)
以下 bagging 大致相当于 随机森林
bag_clf = BaggingClassifier(DecisionTreeClassifier(splitter="random", max_leaf_nodes=16),n_estimators=500, max_samples=1.0, bootstrap=True, n_jobs=-1)
在随机森林上生长树时,在每个结点分裂时只考虑随机特征集上的特征。
ExtraTreesClassifier
ExtraTreesRegressor
到底是 随机森林好,还是极端随机树好,交叉验证比较
from sklearn.datasets import load_iris
iris = load_iris()
rnd_clf = RandomForestClassifier(n_estimators=500, n_jobs=-1)
rnd_clf.fit(iris["data"], iris["target"])
for name, score in zip(iris["feature_names"], rnd_clf.feature_importances_):
print(name, score)
sepal length (cm) 0.112492250999
sepal width (cm) 0.0231192882825
petal length (cm) 0.441030464364
petal width (cm) 0.423357996355
鸢尾花四个特征的重要度
将几个弱学习者
组合成强学习者
的集成方法
AdaBoost 迭代过程
序列学习 技术的一个重要的缺点就是:它不能被并行化(只能按步骤)
SAMME
(这就代表了 分段加建模使用多类指数损失函数)predict_proba()
),sklearn 可以使用 SAMME.R(R 代表“REAL”)的版本,预测概率通常比预测分类更好一个决策树桩是max_depth=1
的决策树,一个单一决策节点+两个叶子结点。这就是AdaBoostClassifier的默认基分类器:
from sklearn.ensemble import AdaBoostClassifier
ada_clf = AdaBoostClassifier(DecisionTreeClassifier(max_depth=1), n_estimators=200,algorithm="SAMME.R", learning_rate=0.5)
ada_clf.fit(X_train, y_train)
不像 Adaboost 那样每一次迭代都更改实例的权重,这个方法是去使用新的分类器去拟合前面分类器预测的残差
from sklearn.tree import DecisionTreeRegressor
tree_reg1 = DecisionTreeRegressor(max_depth=2)
tree_reg1.fit(X, y)
现在在第一个分类器的残差上训练第二个分类器:
y2 = y - tree_reg1.predict(X)
tree_reg2 = DecisionTreeRegressor(max_depth=2)
tree_reg2.fit(X, y2)
随后在第二个分类器的残差上训练第三个分类器:
y3 = y2 - tree_reg1.predict(X)
tree_reg3 = DecisionTreeRegressor(max_depth=2)
tree_reg3.fit(X, y3)
通过集成所有树的预测来在一个新的实例上进行预测
y_pred = sum(tree.predict(X_new) for tree in (tree_reg1, tree_reg2, tree_reg3))
sklearn 内置 GBRT
from sklearn.ensemble import GradientBoostingRegressor
gbrt = GradientBoostingRegressor(max_depth=2, n_estimators=3, learning_rate=1.0)
gbrt.fit(X, y)
超参数learning_rate
确立了每个树的贡献
shrinkage
。staged_predict()
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
X_train, X_val, y_train, y_val = train_test_split(X, y)
gbrt = GradientBoostingRegressor(max_depth=2, n_estimators=120)
gbrt.fit(X_train, y_train)
errors = [mean_squared_error(y_val, y_pred)
for y_pred in gbrt.staged_predict(X_val)]
# 阶段性的预测,迭代一次预测一次
bst_n_estimators = np.argmin(errors)
# 最好的树的个数
gbrt_best = GradientBoostingRegressor(max_depth=2,n_estimators=bst_n_estimators)
gbrt_best.fit(X_train, y_train)
warn_start = True
,保留之前的预测,增量训练,不用重头开始GradientBoostingRegressor
也支持指定用于训练每棵树的样本比例subsample
。如果subsample=0.25
,那么每个树都会在 25% 随机选择的训练实例上训练。
Stacking(stacked generalization 的缩写)。 思想:不使用琐碎的函数(如硬投票)来聚合集合中所有分类器的预测, 使用一个新的分类器模型,对所有的预测结果作为输入,预测输出最终结果
sklearn 暂不直接支持 stacking