Python人工智能：基于sklearn的决策树分类算法实现总结

from sklearn.datasets import load_wine

# 获取数据集
wine = load_wine()

# 查看wine数据集的整体信息
print("wine数据的类型:\n", type(wine))
print("\nwine数据包含的内容:\n", wine.keys())

# 查看data数据的信息
print("\ndata数据的类型:\n", type(wine.data))
print("\ndata数据的形状:\n", wine.data.shape)

# 查看target数据的信息
print("\ntarget数据的类型:\n", type(wine.target))
print("\ntarget数据的形状:\n", wine.target.shape)

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split

# 获取数据集并对数据进行训练/测试集的切分
wine = load_wine()
# 将数据集按照7：3划分为训练数据集与测试数据集
X_train, X_test, y_train, y_test = train_test_split(
    wine.data, wine.target, test_size=0.3
)

clf = DecisionTreeClassifier()  # 分类决策树模型实例化
clf.fit(X_train, y_train)       # 使用训练集进行模型训练
score = clf.score(X_test, y_test)   # 测试模型在数据集上的性能表现

# 查看分类决策树预测结果
print("分类决策树在测试集上的分类精度:", score)

# 模型结构图可视化
from sklearn.tree import export_graphviz
import graphviz

# 将英文特征名字映射为中文
feature_names = [
    '酒精',         # alcohol
    '苹果酸',       # malic_acid
    '灰',          # ash
    '灰的碱性',     # alcalinity_of_ash
    '镁',          # magnesium
    '总酚',        # total_phenols
    '类黄酮',       # flavanoids
    '非黄烷类酚类',  # nonflavanoid_phenols
    '花青素',       # proanthocyanins
    '颜色强度',     # color_intensity
    '色调',        # hue
    'od280/od315稀释葡萄酒', # od280/od315_of_diluted_wines
    '脯氨酸'       # proline
]

dot_data = export_graphviz(
    clf,                        # 需要绘制的模型
    feature_names=feature_names,# 特征名
    class_names=["琴酒", "雪梨", "贝尔摩德"],   # 分类名称
    filled=True,                # 颜色填充
    rounded=True                # 边框圆角
)

# 绘图
graph = graphviz.Source(dot_data)
graph

clf.feature_importances_

[*zip(feature_names, clf.feature_importances_)]

from sklearn.tree import DecisionTreeClassifier

clf_tree = DecisionTreeClassifier(
    criterion='gini',           # 不纯度衡量指标计算方法的选择参数
    splitter='best',            # 决策树特征组合随机选择参数
    max_depth=5,                # 限制决策树最大深度
    min_samples_leaf=10,        # 设定一个节点在分枝后的每个子节点包含的最小的训练样本个数
    min_samples_split=10,       # 设定一个节点必须包含的最小训练样本个数
    max_features=5,             # 限制分枝时考虑的特征个数
    min_impurity_decrease=1e-2  # 限制信息增益的大小
)

import matplotlib.pyplot as plt

test = []       # 用于存放不同max_depth下的评价结果

# 通过for循环获得不同max_depth下的模型的评价指标结果
for i in range(10):
    clf = DecisionTreeClassifier(
        max_depth=i+1,
        criterion='gini',
        splitter="random"
    )                                   # 实例化分类决策树模型对象
    clf = clf.fit(X_train, y_train)     # 模型训练
    score = clf.score(X_test, y_test)   # 获取模型在测试集上的评价结果
    test.append(score)

# 绘制超参数的学习曲线
plt.plot(
    range(1,11), test,
    color="red", label="max_depth"
)
plt.legend()
plt.show()