文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

机器学习面试

为什么LR需要归一化或者取对数，为什么LR把特征离散化后效果更好，为什么把特征组合之后还能提升，反正这些基本都是增强了特征的表达能力，或者说更容易线性可分吧 美团技术团队《Logistic Regression...（回头看了一下是调用的liblinear，囧） 为什么LR需要归一化或者取对数，为什么LR把特征离散化后效果更好，为什么把特征组合之后还能提升，反正这些基本都是增强了特征的表达能力，或者说更容易线性可分吧...决策树基本模型介绍？决策树算法中缺失值怎么处理？决策树算法在应用中有什么值得注意的地方。SVM、LR、决策树的对比？GBDT 和 决策森林 的区别？决策树的特性？...，拟合一个回归树） 在面试过程中主动引导面试官提问，比如面试官让你讲解 gbdt 原理时，这会你可以跟他说，一般说起 gbdt ，我们都会跟 rf 以及 xgboost 一块讲，然后你就可以主动地向面试官输出你的知识...我说用感知哈希算法，计算汉明距离，他说这种方法精度不行；我说那就用SIFT算法吧，他说SIFT效果还可以，但计算有点繁重，有没有轻量级的方法？

44220

R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集

p=23344 本文中我们介绍了决策树和随机森林的概念，并在R语言中用逻辑回归、回归决策树、随机森林进行信用卡违约数据分析（查看文末了解数据获取方式）（点击文末“阅读原文”获取完整代码数据）。...AUCLog1 这不是一个糟糕的结果，但让我们看看是否可以用不同的方法做得更好。...，这些结果并不令人满意，所以我们不得不再次怀疑第一个例子中更简单的Logistic Regression模型是否更好。...方法四：随机森林 与其建立一棵决策树，我们可以使用随机森林方法来创建一个决策树 "森林"。在这种方法中，最终结果是类的模式（如果我们正在研究分类模型）或预测的平均值（如果我们正在研究回归）。...随机森林背后的想法是，决策树很容易过度拟合，所以找到森林中的 "平均 "树可以帮助避免这个问题。 你可以想象，这比创建一棵决策树在计算上要求更高，但R可以很好地处理这一工作。

27530
您找到你想要的搜索结果了吗？
是的
没有找到

R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集|附代码数据

AUCLog1这不是一个糟糕的结果，但让我们看看是否可以用不同的方法做得更好。方法二：另一种Logistic模型在这种方法中，我们将建立第二个Logistic逻辑模型来利用我们数据集中的所有变量。...，这些结果并不令人满意，所以我们不得不再次怀疑第一个例子中更简单的Logistic Regression模型是否更好。...方法四：随机森林与其建立一棵决策树，我们可以使用随机森林方法来创建一个决策树 "森林"。在这种方法中，最终结果是类的模式（如果我们正在研究分类模型）或预测的平均值（如果我们正在研究回归）。...随机森林背后的想法是，决策树很容易过度拟合，所以找到森林中的 "平均 "树可以帮助避免这个问题。你可以想象，这比创建一棵决策树在计算上要求更高，但R可以很好地处理这一工作。...当我们把贷款申请人加入我们的数据库时，如果我们要把他们视为良好的信贷风险，我们希望他们聚集在高密度图的最暗区域。除非我们收取大量的利息来弥补我们的损失，否则我们可能需要更好的模型。

57500

基于微软案例数据库数据挖掘知识点总结（Microsoft Naive Bayes 算法）

点击确定，这时候会弹出一个提示框，我么看图： ? 啥子意思？.......通过该面板我们已经可以进行群体特征分析，这一点是决策树分析算法做不到的，当然这是聚类分析算法的特点，上面图片中含义就能看到了家里有1个或者没有小汽车购买自行车的意愿更大一点。...通常男孩子比较喜欢骑自行车...嗯..我是说通常...那么结果呢...我们来看： 我们利用上图中打分最高的决策树分析算法来推测我们的问题，我们在”挖掘模型”中右键选择新建模型，选择决策树分析算法，我们起个名字...我们利用想用的方法继续建立women(女银)的决策树挖掘算法，下面看图： ? 这里就不不过多解释了，我们直接验证结果，来看看我们上面的推断有没有意义。 下面看图： ?...所以对于不同的行为预测我们可以针对性别来分别挖掘，这样我们挖掘后得到的推测值将更接近事实。 有兴趣可以对是否结婚两种群体进行分析挖掘，看看结不结婚和买不买自行车有没有关系。

792100

独家 | 决策树VS随机森林——应该使用哪种算法？（附代码&链接）

决策树简介 决策树是一种有监督的机器学习算法，该方法可以用于解决分类和回归问题。决策树可以简单地理解为达到某一特定结果的一系列决策。...因此，我不会详细解释基本概念，但是我将提供相关链接以便于你可以进一步探究。 随机森林概览 决策树算法很容易理解和解释。但是通常来说，一棵简单的树并不能产生有效的结果。这就是随机森林算法的用武之地。...但是随机森林算法在训练过程中随机选择特征。因此，的确不依赖于任何特定的特征集。这是随机森林算法优于bagging算法的一个特殊之处。你可以阅读以下文章获取更多bagging算法知识。...随机化特征选择可以使得随机森林比决策树更准确。 所以你应该选择哪一种算法呢——决策树还是随机森林？ “随机森林适用于拥有大型数据集的情况，并且可解释性不是主要考虑因素。” 决策树更容易解释和理解。...但是我要说的是——尽管结果不稳定，且依赖于特定的特征集，决策树真的很有帮助，因为他们更容易去解释、训练更快。任何对数据科学缺乏知识的人都可以使用决策树进行快速的数据驱动决策。

1.8K20

R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集|附代码数据

AUCLog1 这不是一个糟糕的结果，但让我们看看是否可以用不同的方法做得更好。...，这些结果并不令人满意，所以我们不得不再次怀疑第一个例子中更简单的Logistic Regression模型是否更好。...方法四：随机森林 与其建立一棵决策树，我们可以使用随机森林方法来创建一个决策树 "森林"。在这种方法中，最终结果是类的模式（如果我们正在研究分类模型）或预测的平均值（如果我们正在研究回归）。...随机森林背后的想法是，决策树很容易过度拟合，所以找到森林中的 "平均 "树可以帮助避免这个问题。 你可以想象，这比创建一棵决策树在计算上要求更高，但R可以很好地处理这一工作。...当我们把贷款申请人加入我们的数据库时，如果我们要把他们视为良好的信贷风险，我们希望他们聚集在高密度图的最暗区域。 除非我们收取大量的利息来弥补我们的损失，否则我们可能需要更好的模型。

48920

R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集|附代码数据

AUCLog1 这不是一个糟糕的结果，但让我们看看是否可以用不同的方法做得更好。...，这些结果并不令人满意，所以我们不得不再次怀疑第一个例子中更简单的Logistic Regression模型是否更好。...方法四：随机森林 与其建立一棵决策树，我们可以使用随机森林方法来创建一个决策树 "森林"。在这种方法中，最终结果是类的模式（如果我们正在研究分类模型）或预测的平均值（如果我们正在研究回归）。...随机森林背后的想法是，决策树很容易过度拟合，所以找到森林中的 "平均 "树可以帮助避免这个问题。 你可以想象，这比创建一棵决策树在计算上要求更高，但R可以很好地处理这一工作。...当我们把贷款申请人加入我们的数据库时，如果我们要把他们视为良好的信贷风险，我们希望他们聚集在高密度图的最暗区域。 除非我们收取大量的利息来弥补我们的损失，否则我们可能需要更好的模型。

24700

机器学习数据挖掘面试总结

我提到了正则化,然后又问L1和L2的区别? 问了一道题至今没搞懂,在一个圆圈里,有无数多个点,均有两个属性,现在使用决策树来进行切分,切6刀,画出图?what...........,要求删除所以重复的数据1->1->2变为1->2 去除数组中重复次数大于2的数字,返回新数组 让数组中所有的奇数都放在偶数前面 给定一个字符串,可以从中删除一些字符,使得剩下的串是一个回文串,如何删除才能使得到的回文串最长...这里问的比较细,建议看下构造过程 华为 ： 华为走的内推直接进行面试 一面： 问了下平时用的语言，我主要用的python，java也会用的，python用过哪些库 说一个你最熟悉的项目，说的是天池大赛汽车销量那个...问到了最终方案，我说用的xgboost（果然让我把xgboost原理讲了一遍，不过这次让我推到出来，我就从决策树开始推，然后提升树，梯度提升树，再到xgboost）。...说说你这个比赛与其他人比有哪些优势或者不同之处。提到了特征选择和特征构造，以及用不同的特征训练多个模型增加模型的鲁棒性。

85430

【机器学习】机器学习算法预览

通过算法类型进行分组 这里有很多不同的方法可以让一个算法针对一个问题里涉及的经验，或者环境，又或者输入数据的名称进行建模。...正则化算法 这里有一个延伸，针对另一个方法（通常是回归方法）进行基于模型复杂度的惩罚，且更偏爱与更简单的模型，这样也容易进行推广。...这里给你一种接地气的感觉，让你知道有什么样的R包和算法，以及人们是怎样把它们运用到日常生活中的。...以下这些文章，你可以根据你的兴趣有选择性的进行阅读： How to Learn Any Machine Learning Algorithm：这本书提供了一个系统的方法让你学习、运用并理解任何一个算法，...如何运行这些机器学习算法 有时，你需要的只是一些代码。下面这些链接可以让你明白如何运行机器学习算法，并使用常规的库来编写这些代码或者从研究者运用它们。

91050

Python写算法：二元决策树

在图6-1中，终止节点处在框图底部，它们下面没有分支或者进一步的决策节点。 ?...决策树深度的增加意味着在付出额外的复杂度的基础上，可以从数据中提取出更复杂的行为。图6-9说明决策树深度为3时，可以获得基于代码清单6-2生成的数据的最佳均方误差（MSE）。...增加的决策树深度允许在逼近真实模型时提供更精细的“台阶”，面向真实的大规模数据场景也可以提供更好的保真度。...假设一个类别属性包含A、B、C三类，可能的分割方式是：A在一个子集，B、C在另外一个子集，或者B在一个子集，A、C在另外一个子集，诸如此类。在某些环境下，可以直接使用相关数学结果简化这个过程。...本节了提供二元决策树的背景知识，二元决策树本身就是一个很好的预测工具，值得深入研究。但是这里提出的目的是将其作为集成方法的背景。集成方法包含了大量的二元决策树。

1.6K40

R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集|附代码数据

AUCLog1 这不是一个糟糕的结果，但让我们看看是否可以用不同的方法做得更好。...，这些结果并不令人满意，所以我们不得不再次怀疑第一个例子中更简单的Logistic Regression模型是否更好。...方法四：随机森林 与其建立一棵决策树，我们可以使用随机森林方法来创建一个决策树 "森林"。在这种方法中，最终结果是类的模式（如果我们正在研究分类模型）或预测的平均值（如果我们正在研究回归）。...随机森林背后的想法是，决策树很容易过度拟合，所以找到森林中的 "平均 "树可以帮助避免这个问题。 你可以想象，这比创建一棵决策树在计算上要求更高，但R可以很好地处理这一工作。...当我们把贷款申请人加入我们的数据库时，如果我们要把他们视为良好的信贷风险，我们希望他们聚集在高密度图的最暗区域。 除非我们收取大量的利息来弥补我们的损失，否则我们可能需要更好的模型。

45710

【Scikit-Learn 中文文档】决策树 - 监督学习 - 用户指南 | ApacheCN

决策树的缺点包括: 决策树模型容易产生一个过于复杂的模型,这样的模型对数据的泛化性能会很差。...对于决策树，这一策略可以很容易地用于多输出问题。 这需要以下更改： 在叶中存储n个输出值，而不是一个; 通过计算所有n个输出的平均减少量来作为分裂标准....时间复杂度来搜索找到提供熵减小最大的特征。每个节点的花费为  ?  ，从而使得整个决策树的构造成本为  ?  。 Scikit-learn提供了更多有效的方法来创建决策树。...获得一个合适的样本比例和特征数量十分重要，因为在高维空间中只有少量的样本的树是十分容易过拟合的。 考虑事先进行降维( PCA , ICA ，使您的树更好地找到具有分辨性的特征。...在训练之前平衡您的数据集，以防止决策树偏向于主导类.可以通过从每个类中抽取相等数量的样本来进行类平衡，或者优选地通过将每个类的样本权重 (sample_weight) 的和归一化为相同的值。

1.6K50

Python中调用sklearn决策树

为了把训练好的决策树结构更清晰地展示出来，可以用graphviz绘图，这是一个独立的软件，和python中其它的包安装有些区别，具体安装步骤如下： step1：如果有需要，可以自行到官网https://...我的电脑是Windows系统，所以点红框中的链接进一步下载。 ? 如果你的电脑是64位的，点击第一个链接，下载红框win64对应版本的exe。如果是32位的则点击第二个链接即可下载。 ?...step4：测试有没有成功：win+r -- 打开cmd -- 输入dot - version，若出现下面的结果说明安装成功。 ?...从上面两个图可以发现：采用gini和entropy两种方法结果差距很大，gini更倾向于把1找出来，entropy方法会更均匀一点。...step1和step2对比语句中会生成相应的pdf文件，如果想要在jupyter中直接看到图片，可以直接输入graph即可。 ?

2.9K81

女神也用的约会决策：决策树算法实践

剪枝可以视为决策树算法的一种正则化手段，作为一种基于规则的非参数监督学习方法，决策树在训练很容易过拟合，导致最后生成的决策树泛化性能不高。 另外，CART作为一种单模型，也是 GBDT 的基模型。...假设输入空间被划分为 M 个单元R1，R2…，RM，在每一个单元 Rm 上都有一个固定的输出值Cm，所以回归树模型可以表示为 在输入空间划分确定时，回归树算法使用最小平方误差准则来选择最优特征和最优且切分点...预剪枝是在树生成过程中进行剪枝的方法，其核心思想在树中结点进行扩展之前，先计算当前的特征划分能否带来决策树泛化性能的提升，如果不能的话则决策树不再进行生长。...关于这三种决策树，我列了一个对比的表格，可以看到它们之间的区别： 下面的优缺点是针对 CART 树来讲，因为现在 CART 是主流的决策树算法，而且在 sklearn 工具包中使用的也是 CART 决策树...关于剪枝 决策树容易过拟合，那么我们需要使用剪枝的方式来使得模型的泛化能力更好，所以剪枝可以理解为简化我们的决策树，去掉不必要的节点路径以提高泛化能力。

43720

这样的决策树图一键轻松绘制，这个工具真的强...

「treeheatr」-这种树图结构可视化真得绝了~~ 很多同学最近在咨询有没有那种看起来比较炫酷和决策树图的可视化绘制方法？...今天就给各位小伙伴介绍一个专门用于绘制炫酷「决策树(Decision Tree )图」的可视化工具-「treeheatr」 treeheatr工具介绍 treeheatr包是R语言中的专门用于绘制决策树图的可视化工具包...所以我才会建立这么一个渠道来沉淀我的可视化技巧和分享经验，以及给大家提供一个坚持学习的平台。...如果我觉得你的问题很具有普适性，我会把它写成文章发布在公众号上，让更多人看到，有关我们数据可视化系列课程的服务内容，可以参考下面的 阅读原文。 猜你喜欢 不是?！...不用ArcGIS,我照样可以画出惊艳的地图... 比Matplotlib合并子图更方便！patchworklib让我告别PS拼图... Xarray,不用ArcGIS,所有地理空间绘图全搞定...

17810

机器学习的通俗讲解

这就是为什么选择适当的特征通常比机器学习的其他步骤花更多时间的原因，特征选择也是误差的主要来源。人性中的主观倾向，会让人去选择自己喜欢或者感觉“更重要”的特征——这是需要避免的。...在“有监督学习”中，有一个“监督者”或者“老师”提供给机器所有的答案来辅助学习，比如图片中是猫还是狗。...这些模型较小，学习速度更快，工作流程也更清晰。对于图片、视频以及其他复杂的大数据，我肯定会研究神经网络。 就在5年前，你还可以找到基于SVM的人脸分类器。...现在，从数百个预训练好的神经网络模型中挑选一个模型反而更容易。不过，垃圾邮件过滤器没什么变化，它们还是用SVM编写的，没什么理由去改变它。甚至我的网站也是用基于SVM来过滤评论中的垃圾信息的。...事情通常就是这么搞定的。 或者，你可以尝试使用无监督学习。但是印象中，我不记得有什么关于它的最佳实践。

30310

逻辑回归，决策树，支持向量机 选择方案

这三个算法都被广泛应用于分类（当然LR，DT和SVR也可以用于回归，但是本文先不讨论）。我经常看到人们会问，这个问题我该使用LR呢还是决策树（或者GBDT）还是SVM呢。...，哪个方式能够在我们的特征空间里更好的进行分类呢?...如果我们让决策树更复杂一点，例如深度更大，则这些判断条件能够更细地划分特征空间，从而越来越逼近那个圆形的决策边界。 ?...但是这就引发了决策树的最大问题：非常容易过拟合，我们很容易就会生成一个完美拟合训练集的模型，但是该模型在测试集合上的表现却很poor，所以这个时候就需要剪枝以及交叉验证来保证模型不要过拟合了。...过拟合的问题还可以通过使用随机森林的方式来解决，随机森林是对决策树的一个很smart的扩展，即使用不同的特征集合和样本集合生成多棵决策树，让它们来vote预测样本的标签值。

1.6K20

【机器学习】不拽术语，如何通俗地讲解机器学习？

这就是为什么选择适当的特征通常比机器学习的其他步骤花更多时间的原因，特征选择也是误差的主要来源。人性中的主观倾向，会让人去选择自己喜欢或者感觉“更重要”的特征——这是需要避免的。...在“有监督学习”中，有一个“监督者”或者“老师”提供给机器所有的答案来辅助学习，比如图片中是猫还是狗。...这些模型较小，学习速度更快，工作流程也更清晰。对于图片、视频以及其他复杂的大数据，我肯定会研究神经网络。 就在5年前，你还可以找到基于SVM的人脸分类器。...现在，从数百个预训练好的神经网络模型中挑选一个模型反而更容易。不过，垃圾邮件过滤器没什么变化，它们还是用SVM编写的，没什么理由去改变它。甚至我的网站也是用基于SVM来过滤评论中的垃圾信息的。...事情通常就是这么搞定的。 或者，你可以尝试使用无监督学习。但是印象中，我不记得有什么关于它的最佳实践。

42410

【Python机器学习】系列五决策树非线性回归与分类（深度详细附源码）

查看之前文章请点击右上角，关注并且查看历史消息 所有文章全部分类和整理，让您更方便查找阅读。请在页面菜单里查找。...以此类推, 最后一条边会指向一个叶子节点, 那就是答案。下表是14个节点的训练数据: 从数据中我们发现, 猫比狗更容易发脾气。大多数狗玩球, 而猫不爱玩。狗更喜欢狗粮和培根, 而猫喜欢猫粮和培根。...决策树比我们之前介绍的算法更容易拟合过度, 因为它们可以通过精确的描述每个训练样本的特征,构建出复杂的决策树, 从而忽略了一般性的真实关联关系。有一些技术可以修正决策树的拟合过度。...一个解释变量被选中是因为它比其他解释变量更大幅度的降低了不确定性。但是, 有可能全局最优的决策并非局部最优。 在我们的例子中, 决策树的规模并不重要, 因为我们可以获取所有节点。...但是, 在现实应用中, 决策树的规模被修剪以及其他技术限制。而决策树经过修剪后的不同形状会产生不同的效果。实际上, 由信息增益和基尼不纯度启发式方法计算出的局部最优决策通常都会生成一个可行的决策树。

1.8K60

一篇文章教你如何用R进行数据挖掘

数据对象 R中的数据对象主要包括向量(数字、整数等)、列表、数据框和矩阵。让具体的进行了解： 1）向量 正如上面提到的，一个向量包含同一个类的对象。但是，你也可以混合不同的类的对象。...之前，我们已经解释了安装包的方法，大家可以根据自己的需要去下载安装。 导入数据 ：R为数据的导入进口提供了广泛的包，并且可以接入任何格式的数据。...关于商店种类变量计算 在源数据中有10个不同的门店，门店的数目越多，说明某种商品更容易在这个商店中售出。 ? 注：管道函数的思路，将左边的值管道输出为右边调用的函数的第一个参数。...在这里我将使用substr()和gsub()函数来实现提取和重命名变量。 ? 当然，你也可以试着去增加一些新变量帮助构建更好的模型，但是，增加新变量时必须使它与其他的变量之间是不相关的。...四、用机器学习方法进行预测建模 在进行构造数据模型前，我们将删除之前已经被转过的原始变量，可以通过使用dplyr包中的select（）实现，如下： ? 在本节中，我将介绍回归、决策树和随机森林等算法。

3.8K50
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券