专栏首页苦旅分别用逻辑回归和决策树实现鸢尾花数据集分类

分别用逻辑回归和决策树实现鸢尾花数据集分类

学习了决策树和逻辑回归的理论知识,决定亲自上手尝试一下。最终导出决策树的决策过程的图片和pdf。逻辑回归部分参考的是用逻辑回归实现鸢尾花数据集分类,感谢原作者xiaoyangerr

  • 注意:要导出为pdf先必须安装graphviz(这是一个软件)并且安装pydotplus这个包,把它的graphviz加入系统的环境变量path,否则会报错

决策树

from sklearn.datasets import load_iris
from sklearn import tree
from sklearn.model_selection import train_test_split
# 加载数据集
iris = load_iris()
# 引入训练模型
clf = tree.DecisionTreeClassifier()
X = iris.data
y = iris.target
# 分割数据集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3,random_state=33)
# 开始训练
clf.fit(X_train,y_train)
# 预测
y_predict=clf.predict(X_test)
from sklearn.metrics import classification_report
#显示预测的准确性
# X : array-like, shape = (n_samples, n_features)
#        Test samples.
#    y : array-like, shape = (n_samples) or (n_samples, n_outputs)
#        True labels for X.

print(clf.score(X_test,y_test))# 输出结果为0.9111111111111111
print(classification_report(y_predict,y_test))
# 输出结果为
'''
  precision    recall  f1-score   support

          0       1.00      1.00      1.00        11
          1       1.00      0.79      0.88        19
          2       0.79      1.00      0.88        15

avg / total       0.93      0.91      0.91        45
'''
# 导出为pdf
import pydotplus
dot_data = tree.export_graphviz(clf,out_file=None)
graph = pydotplus.graph_from_dot_data(dot_data)
graph.write_pdf('iris.pdf')
#导出为图片
from IPython.display import Image 
dot_data = tree.export_graphviz(clf, out_file=None,
feature_names=iris.feature_names, class_names=iris.target_names,filled=True, rounded=True,special_characters=True) 
  • 决策过程

决策过程.png

逻辑回归

  • 函数图像
# 图象
x = np.linspace(-10,10,1000)
y = 1/(1+np.exp(-x))
sns.set()
plt.axhline(0.5,color='r',ls='dotted')
plt.axvline(0,color='r',ls = 'dotted')
plt.yticks([0.0,5,1.0])
plt.title(r'Sigmoid', fontsize = 15)
plt.text(5,0.8,r'$y = \frac{1}{1+e^{-z}}$', fontsize = 18)
plt.plot(x,y)

image.png

  • 数据分析
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import plotly.plotly as py
import plotly.graph_objs as go
from sklearn.decomposition import PCA

from plotly.offline import init_notebook_mode, iplot
init_notebook_mode(connected = True)
data = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None)
data.columns = ['Sepal.Length','Sepal.Width','Petal.Length','Petal.Width','Species']
data.head()
'''
输出为:
Sepal.Length    Sepal.Width Petal.Length    Petal.Width Species
0   5.1 3.5 1.4 0.2 Iris-setosa
1   4.9 3.0 1.4 0.2 Iris-setosa
2   4.7 3.2 1.3 0.2 Iris-setosa
3   4.6 3.1 1.5 0.2 Iris-setosa
4   5.0 3.6 1.4 0.2 Iris-setosa
'''
labels = data.groupby('Species').size().index
values = data.groupby('Species').size()
trace = go.Pie(labels=labels, values=values)
layout = go.Layout(width=500, height=500)
fig = go.Figure(data=[trace], layout=layout)
iplot(fig)

输出为:

image.png

groups= data.groupby(by="Species")
means,sds = groups.mean(),groups.std()
means.plot(yerr=sds,kind='bar',figsize=(9,5),table=True)
plt.show()

输出为:

image.png

col_map = {'Iris-setosa': 'orange', 'Iris-versicolor': 'green', 'Iris-virginica': 'pink'}
pd.tools.plotting.scatter_matrix(data.loc[:, 'Sepal.Length':'Petal.Width']
, diagonal = 'kde', color = [col_map[lb] for lb in data['Species']], s = 75, figsize = (11, 6))
plt.show() 

输出为:

image.png

  • 正式开始处理
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
iris = load_iris()
print("Iris Dataset contains %s samples in total,%s features."%(iris.data.shape[0], iris.data.shape[1]))# 输出为Iris Dataset contains 150 samples in total,4 features.
'''
iris.data[:5]
array([[5.1, 3.5, 1.4, 0.2],
       [4.9, 3. , 1.4, 0.2],
       [4.7, 3.2, 1.3, 0.2],
       [4.6, 3.1, 1.5, 0.2],
       [5. , 3.6, 1.4, 0.2]])
iris.target
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])
'''
from sklearn.model_selection import train_test_split
X = iris.data[:,:2]
Y = iris.target
x_train, x_test, y_train, y_test = train_test_split(X,Y, test_size = 0.3, random_state = 0)
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(penalty='l2',solver='newton-cg',multi_class='multinomial')
lr.fit(x_train,y_train)
print("Logistic Regression模型训练集的准确率:%.3f" %lr.score(x_train, y_train))# Logistic Regression模型训练集的准确率:0.829
print("Logistic Regression模型测试集的准确率:%.3f" %lr.score(x_test, y_test))# Logistic Regression模型测试集的准确率:0.822
target_names = ['setosa', 'versicolor', 'virginica']
print(metrics.classification_report(y_test, y_hat, target_names = target_names))
'''
输出为:
precision    recall  f1-score   support

     setosa       1.00      1.00      1.00        16
 versicolor       0.81      0.72      0.76        18
  virginica       0.62      0.73      0.67        11

avg / total       0.83      0.82      0.82        45
'''

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • conda配置清华源

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/f...

    Aidol
  • 利用Python进行远程关电脑

    Aidol
  • 一个Activity向另外一个Activity传递值的方法

    1.关键代码 假如FirstActivity要向SecondActivity传递值

    Aidol
  • 用机器学习方法对影评与观影者情感判定

    朴素贝叶斯常见的应用场景之一是情感分析。又上Kaggle溜达了一圈,扒下来一个类似场景的比赛。比赛的名字叫做当词袋/Bag of words 遇上 爆米花/B...

    机器学习AI算法工程
  • Havven宣布Bamboo合作伙伴关系:全球首个接受稳定币的代币认购,尽享20%的代币奖励

    我们非常高兴地宣布,通过与密码货币微投资应用Bamboo的合作,Havven社区成员可享受用nUSD参与Bamboo私下认购并获得20%代币奖励的独家福利!此外...

    区块链领域
  • Python:爬虫系列笔记(2) -- 基本了解及urllib的使用

    1.什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓...

    昱良
  • 笔记 | GWAS 操作流程3:plink关联分析--完结篇

    注意,这里我使用的是ped和map格式,如果ped文件中有表型数据(第六列),如果想指定表型数据,用--pheno,包括三列:家系,个体,表型值。

    邓飞
  • 【填坑系列】Pycharm中这个坑“困扰”过多少人?杀手锏来了...

    有人甚至都绕过这个错误,采取将所有包都安装在python解释器安装目录下,不过,这种方式下,每次新建一个项目,都得重新建立一个继承于根目录下的所有包,这违背了v...

    double
  • SAP Cloud for Customer客户主数据的重复检查-Levenshtein算法

    SAP C4C的客户主数据创建时的重复检查,基于底层HANA数据库的模糊查找功能,根据扫描数据库中已有的数据检测出当前正在创建的客户主数据是否和数据库中记录有重...

    Jerry Wang
  • [机智的机器在学习] 利用TensorFlow实现多元线性回归分类器

    从今天的推文开始,我打算把经典的机器学习算法,都用tf实现一遍。这样一来可以熟悉一下机器学习算法,二来可以对tf有比较好的掌握,如果你是新手,那就跟着我的节奏,...

    用户1622570

扫码关注云+社区

领取腾讯云代金券