专栏首页AI研习社机器学习的本质就是数理统计?答案可能没这么简单

机器学习的本质就是数理统计?答案可能没这么简单

可能许多刚刚接触 AI 的新人们都产生过类似这样的疑问:机器学习和数理统计,究竟有什么本质区别?不都是玩数据的么。

如果从传统意义上的数据分析师的观点来说,这个问题的答案很简单,无非是下面这两点:

● 机器学习本质上是一种算法,这种算法由数据分析习得,而且不依赖于规则导向的程序设计; ● 统计建模则是以数据为基础,利用数学方程式来探究变量变化规律的一套规范化流程。

总结来说,机器学习的关键词是预测、监督学习和非监督学习等。而数理统计是关于抽样、统计和假设检验的科学。

这个答案看起来似乎无懈可击,但其实机器学习和数理统计之间的关系远没有这么简单。

█ 相同点

按照数理统计学的大师级人物 Larry Wasserman 的说法,实际上“这两门学科(机器学习和数理统计)关心的是同一件事,即我们能从数据中学到什么?”

根据他在个人博客中的总结,以下这些在数理统计和机器学习中的常见术语实际上具有相同的含义。

除此之外,另一位学术界的专家,斯坦福大学著名统计学和机器学习大师 Robert Tibshirani 也一直将机器学习称为“美化过的统计学”(glorified statistics)。

实际上,发展到今天,机器学习和统计学技术都已经是模式识别、知识发现和数据挖掘等领域的常用技术。虽然根据 SAS 于 2014 年发布的统计结果(如下图),机器学习和数理统计之间的关系是相互独立的,但实际上在近两年他们之间的界限已经已经越来越模糊,甚至有相互融合的趋势。

这样看来,机器学习和数理统计的确具有相同的目标:从数据中学习。他们的核心都是探讨如何从数据中提取人们需要的信息或规律。但是,这两门学科在研究方法上却有本质的区别。

█ 不同点

首先,机器学习是一个比较新的领域,是计算机科学与人工智能的一个分支,它更多地关心如何构建一个系统去分析数据,而不是针对特定的程序化指令。

而统计建模则完全是数学的分支。虽然现在廉价的计算能力和海量的可用数据的支持下,数据科学家们已经可以通过数据分析来训练计算机的学习能力,即机器学习。但统计建模相对机器学习而言却拥有悠久得多的历史,实际上它早在计算机被发明之前就存在了。

另一方面,机器学习更多地强调优化和性能,而统计学则更注重推导。

关于这一点,我们或许可以从下面这两段分别来自统计学家和机器学习研究人员针对同一数据模型的描述上得到更深的体会。

● 机器学习研究人员:在给定 a、b 和 c 的前提下,该模型准确预测出结果 Y 的概率达到了 85%。 ● 统计学家:在给定 a、b 和 c 的前提下,该模型准确预测出结果 Y 的概率达到了 85%;而且我有九成的把握你也会得到与此相同的结论。

第三,机器学习并不需要对有关变量之间的潜在关系提出先验假设。研究人员只需要将所有的可用数据导入模型,等待算法的分析并输出其中的潜在规律,然后将这一规律应用于新数据进行预测就可以了。对于研究人员来说,机器学习就像一个黑盒子,你只需要会用,但并不清楚其中的具体实现。机器学习通常应用于高维度的数据集,你的可用数据越多,预测通常就越准确。

相比之下,统计学则必须了解数据的收集方式,估计量(包括p值和无偏估计)的统计特征,被研究人群的潜在分布规律,以及多次试验的期望参数的类型。研究人员需要非常清楚自己在做什么,并提出具有预测能力的参数。而且统计建模通常用于较低维度的数据集。

█ 结论

总结来说,我们可以认为机器学习和统计建模是预测建模领域的两个不同分支。这两者之间的差距在过去的 10 年中正在不断缩小,而且它们之间存在许多相互学习和借鉴的地方。未来,它们之间的联系将会更加紧密。

对开发者而言,充分了解机器学习和统计建模之间的差异和联系,将有助于他们扩大自己的知识面,甚至将专业领域之外的分析方法引入研发流程之中。这一点也正是数据科学(data science)本身的核心理念,即弥合机器学习和统计建模之间的区别,让二者逐渐趋于归一化。最后需要肯定的是,这两门以数据驱动的学科之间的协作和交流越频繁,我们的生活就会变得越好。

来源:kdnuggets

本文分享自微信公众号 - AI研习社(okweiwu),作者:恒亮

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2020 年数据科学就业市场必备的五项技能

    数据科学是一个竞争激烈的领域,人们正在迅速学习越来越多的技能和经验。这导致了机器学习工程师的从业要求的直线上升,因此 2020 年我的建议是,所有的数据科学家也...

    AI研习社
  • 如何看待机器学习中的“稳定性”?

    前言 机器学习的过程往往被人戏称为“炼丹”,这大概要归功于其中难以估量的不确定性。 在道观(实验室)里,我们可以放心的让算法在丹炉(GPU)上无休无止的炼(...

    AI研习社
  • 视频 | 10行代码,用大脑重量预测体重!硅谷AI网红亲身示范

    Siraj Raval 作为深度学习领域的自媒体人在欧美可以说是无人不知、无人不晓。 凭借在 Youtube 上的指导视频,Siraj Raval 在全世界吸...

    AI研习社
  • 科普:大数据、人工智能、机器学习与深度学习都是什么?有什么关系?

    导读:大数据、人工智能是目前大家谈论比较多的话题,它们的应用也越来越广泛、与我们的生活关系也越来越密切,影响也越来越深远,其中很多已进入寻常百姓家,如无人机、网...

    华章科技
  • AI取代人类?这4种工作仍将是从业者的“铁饭碗” | 未来

    导读:围棋人机大战、人脸识别、自动驾驶、智能控制、语言和图像理解……这些年,人工智能的威力,我们已经见识过太多。“人工智能”甚至入选“2017年度中国媒体十大流...

    华章科技
  • 关于“机器学习”,医生们需要知道的5件事

    作者:麦子 转载请注明:解螺旋·临床医生科研成长平台 机器学习,简单可以理解为一种数据分析的方法。医生们对数据驱动型预测研究应该不陌生,比如利用风险评分来指导抗...

    企鹅号小编
  • 【统计学习】为什么同一问题统计专家、机器学习专家解决方法差别那么大?

    乍一看,机器学习和统计似乎是非常相似的,大家几乎不强调这两个学科之间的差异。机器学习和统计有着相同的目标 ——它们都关注数据建模,但他们的使用方法却因为它们文化...

    陆勤_数据人网
  • 【独家发送】机器学习该如何应用到量化投资系列(四)——关于涨跌的思考基于Python

    编辑部 微信公众号 关键字全网搜索 『量化投资』:排名第一 『量 化』:排名第二 『机器学习』:排名第三 我们会再接再厉 成为全网优质的金融、技术技...

    量化投资与机器学习微信公众号
  • 气象遇见机器学习

    近些年来关于人工智能(AI)、机器学习(machine learning)、深度学习(deep learning)的新闻数不胜数。各领域也都高举人工智能大旗,试...

    zhangqibot
  • 如何使您的公司为机器学习做准备

    近年来,人们对智能系统的关注在各个领域都出现惊人的增长,从客户支持到治疗癌症。 只要简单地将“AI”一词放到创新企业的宣传介绍里似乎就能增加获得资金的可能性。媒...

    GPUS Lady

扫码关注云+社区

领取腾讯云代金券