专栏首页用户画像机器学习 | 决策树ID3算法

机器学习 | 决策树ID3算法

ID3是Quinlan于1979年提出的,是机器学习中一种广为人知的一个算法,它的提出开创了决策树算法的先河,而且是国际上最早最有影响的决策树方法

首先找出最有判断力的特征,把数据分成多个子集,每个子集又选择最有判断力的特征进行划分,一直进行到所有的子集包含同一类型的数据为止,最后得到一棵决策树。

一、ID3算法的基本步骤

1)创建一个节点。如果样本都在同一类,则算法停止,把该节点改成树叶节点,并用该类标记。

2)否则,选择一个能够最好的将训练集分类的属性,该属性作为该节点的测试属性。

3)对测试属性中的每一个值,创建相应的一个分支,并据此划分样本。

4)使用同样自顶向下的递归,直到满足下面的三个条件中的一个时,就停止递归

①给定节点的所有样本都属于同一类。

②没有剩余的属性可以用来进一步划分。

③继续划分得到的改进不明显。

二、分支属性的选择方法

在选择根节点和各个内部节点上的分支属性时,采用信息增益作为度量标准,选择具有最高信息增益的描述属性作为分支属性。

目的:使对所划分获得的训练样本子集进行分类所需要信息最小,即利用该属性进行当前(结点所含)样本集合划分,将会使得所有参数的各样本子集中“不同类别混乱程度”降为最低。

采用信息论方法将帮助有效减少对象分类所需要的次数,从而确保所产生的决策树最为简单,尽管不一定是最简单的。

三、信息增益的计算方法

1、熵

热力学中表征物质状态的参量之一,其物理意义是体系混乱程度的度量

信息论之父C.E.Shannon(香农ÿ

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器学习--决策树(ID3)算法及案例

    1 基本原理 决策树是一个预测模型。它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,每个分支路径代表某个可能的属性值,每个叶结点...

    机器学习AI算法工程
  • 简单易学的机器学习算法——决策树之ID3算法

    一、决策树分类算法概述     决策树算法是从数据的属性(或者特征)出发,以属性作为基础,划分不同的类。例如对于如下数据集 ? (数据集) 其中,第一列和第二列...

    zhaozhiyong
  • 简单易学的机器学习算法——决策树之ID3算法

        决策树算法是从数据的属性(或者特征)出发,以属性作为基础,划分不同的类。例如对于如下数据集

    zhaozhiyong
  • 【机器学习基础】数学推导+纯Python实现机器学习算法4:决策树之ID3算法

    作为机器学习中的一大类模型,树模型一直以来都颇受学界和业界的重视。目前无论是各大比赛各种大杀器的XGBoost、lightgbm还是像随机森林、Adaboost...

    黄博的机器学习圈子
  • 决策树及ID3算法学习

    决策树是一种用树形结构来辅助行为研究、决策分析以及机器学习的方式,是机器学习中的一种基本的分类方法。

    Techeek
  • 决策树ID3算法

    决策树 (Decision Tree)是在已知各种情况发生概率的基础上,通过构成 决策树 来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策...

    机器学习和大数据挖掘
  • 【算法】决策树与ID3算法

    小编邀请您,先思考: 1 如何构建决策树? 2 决策树适合解决什么问题? 1. 什么是决策树/判定树(decision tree)? 决策树(Decision ...

    陆勤_数据人网
  • 决策树(Decision Tree)ID3算法

    决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点...

    统计学家
  • 决策树算法:ID3,C4.5,CART

    其实用一下图片能更好的理解LR模型和决策树模型算法的根本区别,我们可以思考一下一个决策问题:是否去相亲,一个女孩的母亲要给这个女海介绍对象。

    大数据技术与机器学习
  • 决策树-ID3算法和C4.5算法

    它通过对已有样本的学习生成一颗决策树(可看成if-then规则集合),从而能对新样本作出相应分类。

    阿黎逸阳
  • 【分享送书】畅快!5000字通俗讲透决策树基本原理

    在当今这个人工智能时代,似乎人人都或多或少听过机器学习算法;而在众多机器学习算法中,决策树则无疑是最重要的经典算法之一。这里,称其最重要的经典算法是因为以此为基...

    luanhz
  • 数据挖掘算法之决策树算法

    数据挖掘算法之 决策树算法 机器学习中,决策树是一个预测模型;它代表的是对象属性值与对象值之间的一种映射关系。树中每个节点表示某个对象,每个分叉路径则...

    赵腰静
  • 【原创手写笔记】面试准备,关于决策树算法你需要知道的那些

    决策树(Decision Tree)是一种非常经典的机器学习算法,常见的决策树算法包括ID3、C4.5、CART树等。

    zenRRan
  • 机器学习算法之决策树算法

    这里以ID3算法做二分类为例介绍决策树算法的原理。所谓决策树就是由一个个"决策"组成的树。决策树中,结点分为两种,放“决策依据”的是非叶结点,放“决策结果”的是...

    BBuf
  • Python机器学习--决策树算法

    一、决策树原理 决策树是用样本的属性作为结点,用属性的取值作为分支的树结构。 决策树的根结点是所有样本中信息量最大的属性。树的中间结点是该结点为根的子树所包含...

    机器学习AI算法工程
  • 机器学习之决策树算法

    一、决策树原理 决策树是用样本的属性作为结点,用属性的取值作为分支的树结构。 决策树的根结点是所有样本中信息量最大的属性。树的中间结点是该结点为根的子树所包含...

    IT派
  • 机器学习算法之决策树

    "语言艺术是以善意为基础。变相的讽刺,拐弯抹角的谩骂,体现的不是机灵,而是素质问题,毕竟谁都不是傻瓜。

    小闫同学啊
  • 数据挖掘十大经典算法

    用户1737318
  • 机器学习之决策树(Decision Tree)及其Python代码实现

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/articl...

    大黄大黄大黄

扫码关注云+社区

领取腾讯云代金券