专栏首页趣Python机器学习(9)决策树

机器学习(9)决策树

决策树仍然是监督学习方法,其基本思路跟我们人做一些决策的思路类似:可能要下雨,那就带伞;可能要停水,那就提前备水……

这个决策的数学模型是熵。

熵是信息学概念,表示的是信息量的大小,越不可能发生的事情,它的信息量就越大;越是可能发生板上钉钉的事情,它的信息量就越小。

有一个有名的理论叫熵增,它说的是万事万物在不加干扰的情况下,都在向混乱和无序发展:不加节制只会越来越肥;放在桌子上的苹果总会腐烂掉;热量总会流失;……

熵增它描述了宇宙和人类的终极命运。

决策树的模型中,无论是ID3,还是C4.5,亦或者是CART,它们在每个节点做判据的目标都是为了让熵最小化!

核心的内容已经说完了,具体的内容参见如下的推导,一些数学公式的细节可以自行网查。

相关数学概念准备:

决策树的算法推导流程如下:

如下示例的题材,最后一列是结果,其他列是输入。

ID3的手推示例如下所示:

CART的手推示例如下所示:

本文分享自微信公众号 - 趣Python(yang-an-china),作者:滚神大人

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器学习(3)再说监督学习的套路

    当我们辨别一个东西的时候,实际上我们是在比较特征,它跟那些特征相似,我们就认为它是啥?对吧。

    滚神大人
  • 机器学习(6)手推线性回归模型(梯度下降法)

    今天我们给出梯度下降(Gradient Descent)的推导示例,通过一个简单的例子让我们理解GD的流程和本质。

    滚神大人
  • # python # # 分形 # Sierpinski Carpet 谢尔宾斯基地毯

    好久没更新,趁着中午休息更新一下, 这次的是分形中的谢尔宾斯基地毯,3阶的地毯是下面这个形状(不是二维码哈☺):

    滚神大人
  • 树和森林:深度学习不是唯一的选择

    基于树的学习算法是十分流行且应用广泛的一类非参数化的有监督学习算法,这些算法既可用于分类又可用于回归。基于树的学习算法的基础是包含一系列决策规则(例如,“如果他...

    用户1682855
  • python及numpy,pandas易混淆的点

    初接触python觉得及其友好(类似matlab),尤其是一些令人拍案叫绝不可思议的简单命令就可以完成非常复杂的计算,但是真正接触一下就发现,python比ma...

    企鹅号小编
  • python及numpy,pandas易混淆的点

    初接触python觉得及其友好(类似matlab),尤其是一些令人拍案叫绝不可思议的简单命令就可以完成非常复杂的计算,但是真正接触一下就发现,python比ma...

    用户1332428
  • 关于多线程中抛异常的这个面试题我再说最后一次!

    我一年前写过这篇文章《有的线程它死了,于是它变成一道面试题》,这是早期作品,遣词造句,排版行文都有一点稚嫩,但是承蒙厚爱,还是有很多人看过。

    why技术
  • 通过API卸载Ambari服务

    当我们为了体验ambari安装很多服务时,因为安装过多,导致机器很卡,或者暂时用不到,还容易除错,那么我来教你如何卸载。

    DataScience
  • 网站挂马原理及实战

    网页挂马简介 网页挂马指的是把一个木马程序上传到一个网站里面,然后用木马生成器生成一个网马,放到网页空间里面,再加代码使得木马在打开网页时运行。

    黑白天安全
  • 前端技术前沿1

    .js后缀的文件是脚本文件,.json后缀的文件是配置文件,.wxss后缀的是样式表文件,就相当于html中的css文件。

    达达前端

扫码关注云+社区

领取腾讯云代金券