机器学习算法调优

BP

调优事项

  • BP对feature scaling很敏感,要先scale data。
  • 经验来说,L-BFGS在小数据上收敛更快效果更好;Adam在大数据上表现很好;SGD在参数learning rate调整好的基础效果更好。

调参

  1. 首先隐含层个数。一般来说,如果问题线性可分,那么不用隐含层就行;对于绝大多数问题,一个隐含层的效果就很好;多个隐含层的话训练起来更困难一些(需要用到自编码器或者RBM去预训练而且训练参数增长很快)。
  2. 接下来确定隐含层的神经元个数,一般来说,神经元个数在输出层和输出层神经元个数之间比较好。可以通过CV确定合适的神经元个数。同时也可以先增大下神经元的个数,然后通过pruning减少神经元个数。pruning的原理是在神经网络训练的时候主动把没什么用的神经元去掉,没什么用的神经元的特征就是其连接的w很小,所以我们可以得到神经网络后看看W的权重矩阵再决定是否要删除部分神经元。
  3. 画出学习曲线。
  4. 如果学习曲线不稳定,那么减少学习率;如果学习曲线变化很慢,那么增大学习率。
  5. 如果学习曲线发现过拟合,那么提前终止或加大正则系数或减少模型复杂度;如果学习曲线欠拟合,那么多迭代或减少正则项系数或增大模型复杂度。

LR

参数

  • CC:正则项λ\lambda的倒数,越小模型越简单。
  • learning_rate

调优事项

  • sklearn中的LogisticRegression没有使用SGD,用的是一些solver,所以没有learning_rate。
  • sklearn中SGDClassifier适合对线性模型(SVM、逻辑回归)用SGD优化,常调的参数有learning_ratealpha,SGD的速度更快一些。
  • sklearn中有LogisticRegressionCV,可以实现更快的CV。适合调整正则项惩罚权重的算法。

调参

grid search cross validation

SVM

参数

γ\gamma越大,单个训练数据(SV)影响越小(只有靠近SV的才可以影响),只能影响到自己周围的小区域,这样可能需要更多的SV,模型复杂度升高。 CC越大,模型为了不犯错,不得不变得更复杂,模型复杂度升高。

  • γ\gamma:单个训练数据(SV)影响距离大小,因为高斯核是exp(−γ||x−xn||2)\exp(-\gamma||x-x_n||^2),所以γ\gamma越小,单个训练数据(SV)影响越大。γ\gamma可以看做是SV影响半径的倒数。
  • CC:CC参数在模型的复杂度与模型的正确率之间做权衡。如果CC很大,那么模型可能会变得很复杂以尽量减少分类错误,可能会过拟合;如果CC很小,那么模型可能会很简单以至于在训练集上效果不好。

调优事项

  • 10−310^{-3}至10310^{3}的log grid的调参区间便已足够
  • 模型非常受γ\gamma参数的影响,当γ\gamma很大,那么SV的影响半径就很小,只能影响到它自己,这样很容易过拟合。这种情况下即使改变CC也无济于事。
  • 当γ\gamma很小,模型太受限了不能够捕捉到复杂的形状。每个SV的影响半径扩大以至于包含了整个训练集,这样模型就很简单,原因类似KNN中K很大。
  • γ,C\gamma,C的最优组合一般在分布的对角线上,选择较平滑的模型(低γ\gamma),通过增大SV的数量(高CC)就可以实现很好的效果。
  • γ\gamma不可过大,否则调CC也是没用的。

调参

grid search cross validation

RF

参数

RF的参数主要涉及两部分:

  • 树参数:max depth、min_samples_split、min_samples_leaf、max_features
  • bagging参数:n_estimators

调优事项

  • RF模型的子模型都有较低的bias(树深到头),整体模型的目标是降低variance,所以需要增大树的数目。同时降低子模型之间的相关度有助于降低variance,所以max_feature的值一般设置成特征数目的平方根。
  • max_features默认sqrt,一般设置地小一些。减少max_features有利于减少不同树的相关度,减少最终模型的variance,但是增加了单个模型的bias。
  • max_features的选择和数据质量也有关系,如果数据质量很差的话,小的max_features可能split的时候选错了feature因此很有可能影响最终的模型。

调参

  1. max_features是首要的调参参数,大概300个树的时候通过CV找到最优的max_features
  2. 调整max_depth
  3. 调整n_estimators,一般来说越大越好,调整到验证集上的精度提高不多就可。

GBDT

参数

GBDT设计到的参数主要有三部分:

  • 树参数:max_depth(max_leaf_nodes)、min_samples_split(min_weight_fraction_leaf)、min_samples_leaf、max_features
  • boost参数:learning_rate、n_estimators、subsample
  • 其他参数:loss、init、random_state、verbose、warm_start、presort

一般调整的参数有:

  • 树参数:max_depth、min_samples_split、min_samples_leaf、max_features
  • boost参数:learning_rate、n_estimators

调优事项

  • 与RF相比,GBDT不仅降低了variance(多棵树的组合),而且降低了bias(对错误的数据去训练)。其主要目的是通过树的组合降低bias。每个子模型的bias很大但是variance很小。
  • 对于树的参数,RF主要调的是max_features,其目的是增加子模型间的随机性达到降低整体模型variance的作用。对于GBDT,首要目的是降低bias,所以比较关注max_depth之类的参数,通过调整增大子模型的复杂度降低子模型的bias从而降低整体模型的bias。
  • GBDT如果一直进行下去,肯定也会过拟合的,只不过基本分类器很弱,所以GBDT的抗过拟合的能力很强。
  • 没有最佳的学习率,学习率越低越好,只要有足够多的树。
  • 如果学习率很低,树很多,那么时间上的开销就会很大。

调优策略

讲调优策略之前,先对一些值做下初始化:

  • max_depth:一般选的小点,避免分类器太强,5-8即可。
  • min_samples_split:根据数据大小选,选择数据量的1%即可。
  • min_samples_leaf:根据数据与直觉选。
  • max_features:一般选sqrt
  • subsample:一般选0.8。

每次调优的方法都是grid search,评价参数好坏的标准是cv score

  1. 先对boosting参数调优,包括learning_raten_estimators。一般,、learning_rate值在0.05-2,n_estimators在30-80较好。如果n_estimators过大那么增大learning_rate,反之减少learning_rate
  2. 对树的参数在初始化周围调优,调优顺序是max_depthmin_samples_splitmin_samples_leafmax_features、,可视计算能力分步调优或组合参数调优。
  3. 确定最优的参数组合,然后降低learning_rate,增加同样倍数的n_estimators,直到计算能力到达极限或验证集上模型的提升很小。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

Yann LeCun等最新研究:如何对未来实例分割进行预测?

1427
来自专栏人工智能头条

一文详解计算机视觉的广泛应用:网络压缩、视觉问答、可视化、风格迁移等

2034
来自专栏企鹅号快讯

MNIST上的迁移学习任务

一、背景介绍 MNIST之于CV犹如Lena之于图像处理,HelloWorld之于编程语言一般,是每个coder必不可少的初体验。Kaggle上有一个叫做NIP...

3158
来自专栏QQ大数据团队的专栏

视频打标签算法探讨

随着内容时代的来临,多媒体信息,特别是视频信息的分析和理解需求,如图像分类、图像打标签、视频处理等等,变得越发迫切。目前图像分类已经发展了多年,在一定条件下已...

10.8K10
来自专栏大数据文摘

利用 Scikit Learn的Python数据预处理实战指南

1935
来自专栏SIGAI学习与实践平台

人脸检测算法之 S3FD

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

2334
来自专栏数据科学与人工智能

【陆勤践行】面试之机器学习算法思想简单梳理

找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且...

2188
来自专栏AI研习社

变形卷积核、可分离卷积?卷积神经网络中十大拍案叫绝的操作

从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行...

2825
来自专栏新智元

变形卷积核、可分离卷积?卷积神经网络中10大拍案叫绝的操作

【新智元导读】CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。本文作者对近几年一些...

2765
来自专栏大数据挖掘DT机器学习

机器学习算法之K-means特征学习

自从Deep Learning之风盛起之时到现在,江湖上诞生了很多都可以从无标签数据中学习到深度的分级的特征的算法。大部分情况,这些算法都涉及到一个...

3394

扫码关注云+社区