记录几个经典模型

参考网络博客和个人理解记录如下:


1.GBDT(Gradient Boosting Decision Tree)

1.优势

  • 效果还不错
  • 既可用于分类也可用于回归
  • 可以筛选特征

2.关键点

2.1 gbdt 的算法的流程? gbdt通过多轮迭代,每轮迭代生成一个弱分类器,每个分类器在上一轮分类器的残差基础上进行训练.(弱分类器一般会选择CART TREE - 分类回归树)

最终的总分类器是将每轮训练得到的弱分类器加权求和得到. - 加法模型

模型最终可描述为:$F_M(x)=\sum_{m=1}^{M}T(x;\theta_{m})$ 模型一共训练M轮,每轮产生一个弱分类器$T(x;\theta_m)$,弱分类器的损失函数\hat{\theta}\_m=argmin\_{\theta\_m}\sum\_{i=1}^{N}L\{y\_i,F\_{m-1}(x\_i)+T\_m(x\_i;\theta\_m)\}

gbdt在每轮迭代的时候,都去拟合损失函数在当前模型下的负梯度. 2.2 gbdt 如何选择特征 ? 原始的gbdt做法非常暴力,首先遍历每个特征,然后对每个特征遍历它所有可能的切分点,找到最优特征m的最优切分点j.

2.3 gbdt 如何构建特征 ? 工业界做法是和逻辑回归结合,得到组合特征.

2.4 gbdt 如何用于分类?

对于多分类任务,GBDT的做法采用一对多的策略.一共有K个类别,训练M轮,每一轮都训练K个树,训练完成后一共有M*K个树.损失函数log loss

2.5 gbdt 通过什么方式减少误差 ? 拟合残差,梯度下降

2.6 gbdt的效果相比于传统的LR,SVM效果为什么好一些 ?

  • 1.结合了多个弱分类器,是集成学习,所以泛化能力和准确率更高
  • 2.SVM对于训练集不同的维度,数据量的大小,核函数的选择直接决定了模型的训练效果.gbdt相较于SVM和LR更不容易过拟合,因为它的超参学习能力较好,gbdt的泛化能力更多取决于数据集.

2.7 gbdt的参数有哪些,如何调参 ? 1.框架参数

  • 步长 - 选择一个较大的步长
  • 迭代次数或者说学习器的个数 - 100左右
  • 学习率$\eta$
  • 损失函数 - 分类问题和回归问题不一样(分类问题有对数似然和指数似然函数;回归模型有均方误差,绝对损失,Huber损失和分位数损失)

2.弱学习器参数

  • 树的深度 - 10-100
  • 最大特征数 - 划分时考虑的最大特征数
  • 最小叶子结点样本数
  • 最大叶子结点个数 - 限制最大叶子结点数,防止过拟合

2.8 gbdt的优缺点 ? 1.优点

  • 泛化能力强,不容易过拟合
  • 不需要复杂的特征工程

2.缺点

  • 难以实行并行化
  • 模型复杂度较高,深入分析和调优有一定难度

2.XgBoost(Extreme Gradient Boosting)

1.xgboost和GBDT区别

  • 传统GBDT以CART作为基分类器,xgboost还支持线性分类器.
  • 传统GBDT在优化时只用到一阶导数信息,而xgboost进行了二阶泰勒展开
  • xgboost在代价函数中加入了正则项
  • 对于缺失值的处理,xgboost可以自动学习出它的分裂方向
  • xgboost支持并行,并行过程是在确定最佳分割点时,每一轮的训练还是前向分步法,这个过程不能并行.选择最佳分割点时使用近似直方图算法

3.SVM(Support Vector Machine)

参考该篇博客: https://blog.csdn.net/szlcw1/article/details/52259668 (谢谢作者整理)

4.CNN(Convolutional Neural Network)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏李智的专栏

斯坦福CS231n - CNN for Visual Recognition(3)-lecture3(下)最优化

  上节我们已经介绍了图像分类的两个关键部分:评分函数与损失函数,接下来就是最优化的问题了,即如何寻找使得损失函数值最小的WW。 对于SVM 得分函数:...

931
来自专栏深度学习自然语言处理

白话word2vec

word2vec 是2012年被被Google提出来的将文本生成词向量模型,其中包括了两个模型,continous bag of words(CBOW)和Ski...

1762
来自专栏企鹅号快讯

模糊决策树算法FID3

Q A 用户 今天发布什么呢??? ? ? HHY 今天讲决策树算法哦,不同于清晰决策树,利用了模糊逻辑的模糊决策树算法哦! 模糊隶属度 ? (a)三角形隶属度...

4338
来自专栏AI科技大本营的专栏

干货 | 上手机器学习,从搞懂这十大经典算法开始

翻译 | AI科技大本营(rgznai100) 参与 | 林椿眄 编辑 | 波波,Donna 在机器学习领域,“没有免费的午餐”是一个不变的定理。简而言之,没有...

37610
来自专栏木东居士的专栏

漫谈机器学习之过拟合

1644
来自专栏PPV课数据科学社区

机器学习常见的算法面试题总结

摘要:包含机器学习常见算法公式、原理和优缺点比较,简介清洗,适合作为面试和考试前速查和记忆使用。 朴素贝叶斯 P(A∩B)=P(A)*P(B|A)=P(B)*P...

1.2K5
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习技法课程学习笔记1 -- Linear Support Vector Machine

关于台湾大学林轩田老师的《机器学习基石》课程,我们已经总结了16节课的笔记。这里附上基石第一节课的博客地址: 台湾大学林轩田机器学习基石课程学习笔记1 – Th...

2630
来自专栏派树AI

Machine Learning笔记——单变量线性回归

在机器学习中,样本一般分成独立的三部分训练集(train set),验证集(validation set)和测试集(test set)。其中,训练集用于建立模型...

1220
来自专栏Pytorch实践

迁移学习在自然语言处理领域的应用

       迁移学习近年来在图形领域中得到了快速的发展,主要在于某些特定的领域不具备足够的数据,不能让深度模型学习的很好,需要从其它领域训练好的模型迁移过来,...

1413
来自专栏Pytorch实践

迁移学习在自然语言处理领域的应用

迁移学习近年来在图形领域中得到了快速的发展,主要在于某些特定的领域不具备足够的数据,不能让深度模型学习的很好,需要从其它领域训练好的模型迁移过来,...

1334

扫码关注云+社区

领取腾讯云代金券