机器学习项目的常见误区

在最近的一次报告中,Ben Hamner向我们介绍了他和他的同事在Kaggle比赛中看到的一些机器学习项目的常见误区。

这个报告于2014年2月在Strate举办,名为《机器学习小精灵》。

在这篇文章中,我们将从Ben的报告中了解一些常见的误区,它们是什么及如何避免陷入这些误区。

机器学习的过程

在报告之前,Ben向我们展示了一个解决机器学习问题大体流程。

机器学习流程,摘自Ben Hamner的《机器学习小精灵》

这个流程包括如下9步:

  1. 以一个行业问题开始
  2. 源数据
  3. 切分数据
  4. 选择一个评价标准
  5. 进行特征提取
  6. 训练模型
  7. 特征选择
  8. 模型选择
  9. 生产系统

Ben强调这个过程是迭代的过程,而非线性的。

他也谈及在这个过程中的每一步都可能出错,每个错误都可能使整个机器学习过程难以达到预期效果。

鉴别狗和猫

Ben提出了一个研究建造一个“自动猫门”的案例,这个“门”对猫开放而对狗关闭。这是一个启发性的例子,因为它设计到了处理数据问题上的一系列关键问题。

鉴别狗和猫,摘自Ben Hamner的《机器学习小精灵》

样本大小

这个例子的第一个卖点就是,模型学习的准确度与数据样本大小有关,并展示更多的样本与更好的准确度之间的关系。

他通过不断增加训练数据,直到模型准确度趋于稳定。这个例子能够很好让你了解,你的系统对样本大小及相应调整有多敏感。

错误的问题

第二个卖点就是这个系统失败了,它对所有的猫都拒之门外。

这个例子突出了理解我们需要解决的问题的约束是非常重要的,而不是关注你想解决的问题。

机器学习工程中的误区

Ben接着讨论了解决机器学习问题中的4个常见误区。

虽然这些问题非常常见,但是他指出它们相对比较容易被识别及解决。

过拟合,摘自Ben Hamner的《机器学习小精灵》

  • 数据泄露:利用模型中的生产系统不能访问的数据。在时序问题中这个问题特别常见。也可能发生在像系统id的数据上,id可能表示一个类标签。运行模型并且仔细查看有助于系统的特征。完整检查并考虑其是否有意义。
  • 过拟合:在训练数据上建模太精密,同时模型中又存在一些噪声点。这时过拟合会降低模型的扩展能力, 其在更高的维度与更复杂的类界限下更甚。
  • 数据采用和切分:相对于数据泄露,你需要非常小心地知道训练、测试、交叉检验数据集是否是真正的独立数据集。对于时序问题,很多想法和工作需要保证可以按时间顺序给系统回复数据和验证模型的准确性。
  • 数据质量:检查你的数据的一致性。Ben给了一个航班起飞及着陆地点的数据,很多不一致,重复及错误的数据需要被识别及明确地处理。这些数据会直接损害建模及模型的扩展能力。

原文发布于微信公众号 - 机器人网(robot_globalsources)

原文发表时间:2018-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【Python环境】机器学习反欺诈实践:Python+scikit-learn+随机森林

作者:Jun He 出处:CSDN 将机器学习算法用于金融领域的一个很好的突破口是反欺诈,在这篇博文中,WePay介绍了支付行业构建机器学习模型应对很难发现...

35090
来自专栏数据派THU

收藏 | 27个机器学习小抄(附学习资源)

19940
来自专栏数据科学与人工智能

【陆勤践行】WePay机器学习反欺诈实践:Python+scikit-learn+随机森林

什么是shell selling? 虽然欺诈几乎涉及各种领域,但相对于传统的买方或卖方仅仅担心对方是否是骗子,支付平台需要担心的是交易双方。如果其中任何一方存在...

23190
来自专栏ATYUN订阅号

惊喜!神经元比我们想象的复杂的多

? 深度学习或人工神经网络(ANN)能够模拟生物神经元的观点,是个很大的误解。ANN充其量能模仿一个1957年的单个神经元模型的卡通版本。任何声称深度学习的人...

38640
来自专栏智能算法

蚁群算法(独辟蹊径的进化算法)

1. 算法背景——蚁群的自组织行为特征 高度结构化的组织——虽然蚂蚁的个体行为极其简单,但由个体组成的蚁群却构成高度结构化的社会组织,蚂蚁社会的成员有分...

55580
来自专栏鸿的学习笔记

用于工业界的机器学习:案例研究

您好,我是Chris Burges。 在我过去在微软工作了14年,在此之前为贝尔实验室又工作了14年,我花了大量的时间在机器学习(ML)上,其中有部分时间又花在...

11910
来自专栏大数据挖掘DT机器学习

飞林沙:商品推荐算法&推荐解释

这是今天看到的一篇蛮有新意的讲稿,由于不是一篇完整的论文,所以理解起来稍微有些困难,就顺着写个笔记,仅供参考。 ? 在这篇文章中,我分成两部分,我们先顺着作者的...

64690
来自专栏人工智能头条

WePay机器学习反欺诈实践:Python+scikit-learn+随机森林

18340
来自专栏专知

【推荐系统论文笔记】DKN: 基于深度知识感知的新闻推荐网络(WWW2018 )

【导读】传统的新闻推荐算法仅仅从语义层对新闻进行表示学习,而忽略了新闻本身包含的知识层面的信息。本文将知识图谱实体嵌入与神经网络相结合,将新闻的语义表示和知识表...

75380
来自专栏大数据文摘

DeepMind:深度学习原理初探

15840

扫码关注云+社区

领取腾讯云代金券