Python人工智能：基于sklearn的随机森林分类算法实现方法

from sklearn.ensemble import RandomForestClassifier

rfc = RandomForestClassifier(
    n_estimators = 100,             # 随机森林中树木的数量
    criterion = "gini",             # 不纯度的衡量指标
    max_depth = 5,                  # 每棵树的最大深度
    min_samples_leaf = 10,          # 某个节点在分枝后的每个子节点都必须包含的最少样本数
    min_samples_split = 10,         # 某个节点必须包含最少的样本数
    max_features = "sqrt",          # 分枝时的特征个数
    min_impurity_decrease = 1e-3    # 信息增益的大小
)

from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_wine

# 1. 导入需要的数据集并将其划分为训练集与测试集
wine = load_wine()
X_train, X_test, y_train, y_test = train_test_split(
    wine.data, wine.target, test_size=0.3
)

# 2. 分类算法实例化、训练与预测性能评价
clf = DecisionTreeClassifier()  # 决策树实例化
rfc = RandomForestClassifier()  # 随机森林实例化

# 模型的训练与性能评价
clf = clf.fit(X_train, y_train) # 决策树模型训练
rfc = rfc.fit(X_train, y_train) # 随机森林模型训练

# 性能评价
score_clf = clf.score(X_test, y_test)   # 决策树性能评价结果
score_rfc = rfc.score(X_test, y_test)   # 随机森林性能评价结果

# 3. 输出两个模型的预测结果
print("单个决策树的分类预测结果:{}\n".format(score_clf),
      "随机森林分类预测结果:{}\n".format(score_rfc))

from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

rfc_performance = []    # 存放随机森林预测结果

# 绘制随机森林中树木的数量n_estimators的学习曲线
for i in range(100):
    rfc = RandomForestClassifier(
        n_estimators=i+1,
        n_jobs=-1
    )       # 实例化随机森林分类模型
    # 下面使用10折交叉验证方法对随机森林进行训练与性能评价
    rfc_score = cross_val_score(
        rfc, wine.data, wine.target, cv=10
    ).mean()
    rfc_performance.append(rfc_score)   # 存放不同决策树个数的预测结果

# 绘制学习曲线
plt.figure(figsize=[10,4])
plt.plot(range(1,101), rfc_performance)
plt.show()

# 1. 导入必要的库与数据集
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV, cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

data = load_breast_cancer()

# 2. 随机森林分类模型的实例化、模型训练及决策树数量的学习曲线绘制

# 绘制随机森林模型决策树数量`n_estimator`的学习曲线
performance_score = []  # 存放不同决策树个数的模型预测性能

for i in range(0,200,10):
    rfc = RandomForestClassifier(
        n_estimators=i+1,
        n_jobs=-1,
    )           # 随机森林分类模型实例化
    score = cross_val_score(
        rfc, data.data, data.target, cv=10
    ).mean()    # 对模型进行训练与交叉验证
    performance_score.append(score)

# 输出最大的预测结果及其标签
print(
    max(performance_score),
    (performance_score.index(max(performance_score))*10)+1
)

# 绘制学习曲线
plt.figure(figsize=[10, 4])
plt.plot(range(1,201,10), performance_score)

# 3. 进而对其他超参数进行网格搜索
# 随机森林中每个决策树的最大深度超参数`max_depth`的网格搜索
param_grid = {
    "n_estimators": [*np.arange(30, 71, 5)],
    'max_depth': [*np.arange(1, 21, 1)]
}

rfc = RandomForestClassifier()  # 实例化一个随机森林分类模型
GS = GridSearchCV(rfc, param_grid, cv=10)   # 实例化一个网格搜索对象
GS.fit(data.data, data.target)  # 进行网格搜索

# 查看最优的参数组合及预测精度结果
# 返回最佳超参数组合
print("\n最佳的超参数组合:\n", GS.best_params_)
# 返回最佳的模型评价结果
print("\n最佳的分类评价结果:\n", GS.best_score_)

# 使用`sklearn.model_selection.GridSearchCV`对其他超参数依次进行网格搜索
param_grid = {
    "max_features": [*np.arange(5, 21, 1)],
    "min_samples_leaf": [*np.arange(1, 21, 2)],
    "criterion": ("gini", "entropy")
}

rfc = RandomForestClassifier(
    n_estimators=45,
    max_depth=16
)
GS = GridSearchCV(rfc, param_grid, cv=10)   # 实例化一个网格搜索对象
GS.fit(data.data, data.target)  # 进行网格搜索

# 查看最优的参数组合及预测精度结果
# 返回最佳超参数组合
print("\n最佳的超参数组合:\n", GS.best_params_)
# 返回最佳的模型评价结果
print("\n最佳的分类评价结果:\n", GS.best_score_)