00:01
2.3.6决策数集成,集成em。是合并多个机器学习模型来构建更强大模型的方法。在机器学习文献中,有许多模型都属于这一类,但已证明有两种集成模型对大量分类和回归数据都是有效的,二者都以决策数为基础,分别是随机森林random forest和梯度提升决策数观点booted decision tree。随机森林我们刚刚说过,决策数的一个主要缺点在于经常对训练数据过拟合,随机森林是解决这个问题的一种方法。随机森林本质上是许多决策树的集合,其中每棵树都和其他树略有不同。随机森林背后的思想是每棵树的预测可能都相对较好,但可能对部分数据过拟合。如果构造很多树。并且每棵树的预测都很好,但都以不同的方式过拟合,那么我们可以对这些数的结果取平均值来降低过拟合。
01:06
既能减少过敏和,又能保持数的预测能力,这可以在数学上严格证明。为了实现这一策略。我们需要构造许多决策树。每棵树。都应该对目标值做出可以接受的预测。还应该与其他数不同。随机森林的名字来自于将随机性添加到树的构造过程中,以确保每一棵树各不相同。随机森林中的树的随机化方法有两种,一种是通过选择用于构造数的数据点,另一种是通过选择每次划分测试的特征,我们来更深入的研究这一过程,构造随机森林。想要构造一个随机森林模型,你需要确定用于构造的数的个数。Random forest或random forest class,前面一个用于回归,后面一个用于分类。
02:03
其中的。N estimateto参数。比如,我们想要构造十棵树,这些树在构造时彼此完全独立。算法对每棵树进行不同的随机选择,以确保树和树之间是有区别的。想要构造一棵树,首先要对数据进行自助采样。Bootstrap sample,也就是说从n samples个数据点中有放回的及同一样本,可以被多次抽取重复随机抽取一个样本共抽取N3步四次,这样会创建一个与原数据集大小相同的数据集,但有些数据点会缺失大约1/3,有些会重复。举例说明,比如我们想要创建列表abcd的自主采样,一种可能的自主采样是。BDDC另一种可能采样是DADA。接下来基于这个新创建的数据集来构造决策数,但是要对我们在介绍决策数时描述的算法稍作修改。
03:08
在每个节点处,算法随机选择特征的一个子集,并对其中一个特征寻找最佳测试,而不是对每个节点都寻找最佳测试。选择的特征个数由max参数来控制。每个节点中特征子集的选择是相互独立的。这样数的每个节点可以使用不?特征的不同子集来做出决策。由于使用了。自助采样随机森林中构造每棵决策树的数据集都是略有不同的,由于每个节点的特征选择,每棵树中的每次划分都是基于特征的不同子集,这两种方法共同保证了随机森林中座位数都不相同。在这个关键,在这个过程中,一个关键参数是max featuretu,如果我们设置max feature等于n fetu。那么每次划分都要考虑数据集的所有特征,在特征选择的过程中没有添加随机性。
04:05
在特征选择过程中没有添加随机性,不过自助采样依然存在随机性。如果设置max factor等于一,那么在划分时将无法选择对哪个特征进行测试。只能对随机选择的某个特征搜索不同的阈值,因此如果max较大,那么随机森林中的数将会十分的相似,利用最独特的特征可以轻松拟合数据。如果macfa较小,那么。随机森林中树将会差异很大,为了更好的拟合数据,每棵树的深度都要很大。想要利用随机森林进行预测,算法首先对森林中的每棵树进行预测。对于回归问题,我们可以对这些结果的平均值。作为最终回归预测。对于分类问题。则用到软投票software voting策略。也就是说,每个算法做出软预测。
05:01
给每个可能的输出,给出每个可能输出标签的概率。对所有数的预测概率取平均值,然后将概率最大的类别作为预测结果。分析随机森林。下面将由五棵树组成的随机森林应用到前面研究过的触目数据集上。
07:25
嗯。作为随机森林的一部分,设备保存在estimate属性中。我们将每棵树学到的决策边界可视化,也将他们的总预测及整个森林做出的预测可视化。
11:06
你可以清楚的看到,这五棵树学到的决策边界大不相同,每棵树都犯了一些错误,因为这里画出的一些训练点实际上并没有包含在这些数的训练集中,原因在于自主采样。随机森林比单独每棵树的过拟核都要小,给出的决策边界更符合直觉。在任何实际应用中,我们会用到更多棵树,通常是几百或上千,从而得到更平滑的边界。再举一个例子,我们将包含100棵树的随机森林应用到乳腺癌数据集上。
13:53
看到上面这段代码,这段代码比较简单。这里有一个。
14:02
某个对象的方法是表示的是什么意思?其实这是一个朗派数组对象,二维的两行三列。元,其中的元素就是这一建立的图。在讲方法之前,首先科普一下朗派数组的引用视图和复制。我们首先明确一点,修改一个数组,可以是修改其形状,也可以修改其元素值。引用A和B2个数组,修改A的形状或者元素值的同时,B也跟着修改标志a is b输出true。试图。
15:02
我们都知道,数据库的视图是基于实表创建的一个虚表,其中的数据存放在实表中,修改实表,虚表对应的内容也跟着修改。在这里,我们可以把视图看成是一个虚数组。可以通过访问虚数组的倍属性来访问其对应的实数组,实数组对应的倍数属性为纳。修改其中一个数组的元素值,另一个数组对应的元素值也会跟着改。但是修改其中一个数组的形状,另一个数组形状不会跟着改。标志。如果B是A的一个视图,那么b.base也是A输出处。复制。两个一模一样的数组。不管怎么修改其中一个,另一个是不会跟着修改的。在讲数组对象点方法之前,首先需要讲一下long派点RA。
16:01
它返回一个展屏之后的数组,一个包含输入数组元素的一维数组被返回,如果需要会进行复制。返回的数组和输入数组有着相同的元素类型。参数。A一个类似数组的对象输入数组A中元素,通过参数order指定的顺序进行读取,并将这些元素依次放在一个一位数组中。CA4选一,可选参数默认是C,读取A中元素的顺序,索引顺序C对应行优先。C原风格F对应列优先,多取言风格A对应自动选择。如果输入数组对应的存储方式行优先,也就是C原风格,就通过行优先顺序来读取其中原风,如果输入数组对应的存储方式是列优先,波取元风格就通过列优先顺序来读取其中元素K对应按照数组元素在内存中的顺序进行读取。
17:09
返回值,输入数组的一维视图。注意啊,他返回的是视图。修改它返回的那个视图。传入这个数组中的元素也会跟着被修改。南派点ND瑞典RA。也就是数组对象的方法。假设A是一个当派N点实例a.RA order等于什么?什么东西等价于当派点RAA逗号order等于什么什么东西?这里为什么返回的是视图?因为我需要在这里做就地修改。通过设置其中元素的属性。对其中元素进行就地的修改。把修改反映到。
18:03
原本对应的两行三列的二维数组中。注意看这里有标题。当然,书上也是一样的。回到这个。乳腺癌数据集的例子上来。我们可以发现,在没有调节任何参数的情况下,随机森林的精度为97%,比线性模型或单科决策数都要好。我们可以调节max sta参数。或者像单科决策数那样进行预减值,但是随机森林的默认参数通常已经给出,已经可以给出很好的结果。与决策数类似,随机森林也可以给出特征重要性。计算方法是将森林中所有数的特征重要性求和并取平均。一般来说,随机森林给出的特征重要性要比单科决策数给出的更为可靠。
19:28
如你所见,与单棵树相比,随机森林中有更多特征的重要性不为零。与单棵决策树类似,随机森林也给了worst radious特征很大的重要性,但从总体来看,它实际上却选择worst parameter。作为。信息量最大的特征。由于构造随机森林过程中的随机性,算法需要考虑多种可能的解释,结果就是随机森林比单棵树更能从总体把握数据的特征。
20:01
优点、缺点和参数。用于回归和分类的随机森林是目前应用最广泛的机器学习方法之一。这种方法非常强大,通常不需要反复调节参数就可以给出很好的结果。也不需要对数据进行缩放。从本质上看,随机森林拥有决策数的所有优点,同时弥补了决策数的一些缺陷。仍然使用决策数的一个原因是需要决策过程的紧凑表示。基本上不可能对几十棵甚至上百棵树做出详细解释。随机森林中树的深度往往比决策树还要大,因为用到了特征子集。因此,如果你需要以可视化的方式向非专家总结预测过程,那么选择单科决策数可能更好。虽然在大型数据集上构建随机森林可能比较费时间,但在一台计算机的多个CPU内核上并行计算也很容易。如果你用的是多核处理器。几乎所有的现代计算机都是你可以用n job的参数来调节使用的内核个数。使用更多的CPU内核可以让速度线性增加。使用两个内核随机森林虽然速度不加倍,但设置n job大于内核个数是没有用的。
21:14
你可以设置n jobs等于负一来使用计算机的所有内核。你应该记住,随机森林本质上是随机的。设置不同的随机状态或者不设置random data参数可以彻底改变构建的模型。森林中的树越多,它对随机状态选择的鲁邦性就越好。如果你希望结果可以重现,固定random state是很重要的。对于维度非常高的稀疏数据,比如文本数据,随机森林的表现往往不是很好。对于这种数据,使用线性模型可能更合适。即使是非常大的数据集,随机森林的表现通常也很好。训练过程很容易并行在功能强大的计算机的多个CPU内核上。不过随机森林需要更大的内存,训练和预测的速度比线性模型要慢。
22:03
对于一个应用来说,如果时间和内存很重要的话,那么换用线性模型可能更为明智。需要调节的重要参数有ns tomatoes和ma maxfatues,还可能包括预减这选项,如max steps ns tomatoes总是越大越好。对更多的数取平均可以降低过敏和,从而得到鲁邦性更好的集成。不过收益是递减的,而且数越多,需要的内存也越多,训练的时间也越长。常用的经验法则就是。在你的时间内存允许的情况下,尽量的做。前面说过,Ma factors决定每棵树的随机性大小,较小的Mac factors可以降低过拟和。一般来说,好的经验就是使有默认值。对于分类,默认值是ma factor等于。根号下N。对于回归,默认值是max等于N。
23:02
增大maxfas或max live notes有时也可以提高性能,它还可以大大降低用于训练和预测的时间和空间要求。前面一直提到的n fe表示的是特征数量。看到梯度提升回归术梯度提升机梯度提升回归术是另一种集成方法,通过合并多颗决策术来构建一个更为强大的模型。虽然名字中含有回归,但这个模型既可以用于回归,也可以用于分类。与随机森林方法不同,梯度提升采用连续的方式构造数,每棵树都试图纠正前一个数的错误,默认情况下。梯度提升回归数中没有随机化,而是用到了强预减值。梯度提升数通常使用深度很小,一到五之间的数,这样模型占用的内存更少,预测速度也更快。梯度提升背后的主要思想是合并许多简单的模型,在这个语境中叫做弱学习器,比如深度较小的数。
24:06
每棵树只能对部分数据做出好的预测,因此添加的树越来越多,可以不断迭代提高性能。梯度提升数经常是机器学习竞赛的优胜者,并且广泛应用于业界,与随机森林相比,它通常对参数设置更为敏感。如果。但如果参数设置正确的话,模型精度更高。除了预减值与集成中数的数量之外,梯度提升的另一个重要参数是learning rate学习率,用于控制每棵树纠正前一棵树的错误的强度。较高的学习率意味着每棵树都可以做出较强的修正,这样模型更为复杂。通过增大NSS来向集成中添加更多的数也可以。增加模型的复杂度。因为模型有更多机会。纠正训练题中的训练题上的错误。下面是在乳腺癌数据集上应用boost boosting class file的事例,梯度提升梯度提升及分类器的一个示例。默认使用100棵树,最大深度为三,学率0.1。
26:51
由于训练及精度达到100%。所以很可能存在过拟和。为了降低过拟合,我们可以限制最大深度来加强预检值,也可以降低学习率。
28:13
降低模型复杂度的两种方法都降低了训练及精度,这和预期相同。在这个例子中,减小数的最大深度显著提升了模型性能。而降低学习率,仅稍微提高了泛化性能。对于其他基于决策树的模型,我们也可以将特征重要性可视化,以便更好的理解模型。由于我们用到了100棵树。所以,即使所有数的深度都是一挑,看所有数也是不现实的。
29:22
可以看到,梯度提升数的特征重要性与随机森林的特征重要性有些类似,不过梯度提升完全忽略了某些特征。由于梯度提升和随机森林两种方法在类似的数据集上表现的都很好,因此一种常用的方法就是先尝试随机森林,它的补光性很好。如果随机森林效果很好,但预测时间太长,或者机器学习模型精度小数点后二位的、小数点后第二位的提高也很重要。那么换成梯度提升通常会有用。如果你想要将梯度提升应用到大规模问题上,可以研究一下XGBOO包及其pon接口。在写作本书时,这个库在许多数据集上的速度都比S论对梯度提升的实现要快。有时挑战也更简单。优点、缺点和参数梯度提升决策数是监督学习中最强大以最常用的模型之一,其主要缺点是需要仔细调参。
30:18
且训练时间可能会比较长,与其他基于数的模型类似,这一算法不需要对数据进行缩放就可以表现的很好,而且也适用于二元特征与连续特征同时存在的数据集。与其他基于数的模型相同,它也。通常不适用于高维系数数据梯度提升数模型的主要参数包括数的数量ns method和学习率learning。后者用于控制每棵树对前一棵树的错误的纠正强度。这两个参数高度相关,因为冷凝瑞越低,就需要更多的树构建具有相似复杂度的模型。随机森林的ns tomato ns tomato的值总是越大越好,但梯度提升不同。增大ns tomato会导致模型更加复杂,进而可能导致过拟和。通常的做法是根据时间和内存的预算选择合适的NSS,然后对不同的。
31:10
冷rate进行遍利。另一个重要参数是ma steps或ma not。用于降低每个数的复杂度。梯度提升模型的ma steps通常都设置的很小,一般不会超过五。
我来说两句