统计、概率和数据挖掘

统计、概率、数据挖掘,这几个词经常伴随出现,尤其是统计和概率两个概念,几乎就像自然界的伴生矿一样分不了家,有很多出版社都出版过叫做《概率统计》的书籍。

我们这本书本身也不准备从学术的角度给统计和概率做严格的区分,在平时工作中我们用的统计大多为计数功能,例如使用SQL语言对数据库的某些字段进行计数(count)、求和(sum)、求平均(avg)等。而概率的应用大多则是根据样本的数量以及占比得到“可能性”和“分布比例”等描述数值。当然,概率的用法远其实不止这些,在数据挖掘中同样用到大量概率相关的算法,我们后面会有相当的篇幅进行说明。

数据挖掘这个词很多时候是和机器学习一起出现,现在网上众人对这个两个词的关系说法也是莫衷一是。有的说数据挖掘包含机器学习,有的说机器学习是数据挖掘发展的更高阶段云云。数据挖掘和机器学习这样的词汇命名应该是信息科学自然进化和衍生出来的,带有一定的约定俗成的色彩,人们的看法见仁见智也在情理之中。

我的观点是这样。

首先我认为没有必要一定要给两个词汇划一个界限,或者一定要把他们做严格的概念区分,因为区分的标准到目前本就没有科学而无争议的界定,况且是不是能分清一个算法属于数据挖掘的范畴还是机器学习的范畴对于算法本身使用的水平是没有任何影响的。这两个词大家如果想听解释的话,不妨只从字面意思去理解就已经足够了。

数据挖掘——首先是有一定量的数据作为研究对象,挖掘顾名思义,说明有一些东西并不是放在表面上一眼就能看明白,要进行深度的研究、对比、甄别等工作,最终从中找到规律或知识,“挖掘”这个词用的很形象。

机器学习——我们先想想人类学习的目的是什么?是掌握知识,掌握能力,掌握技巧,最终能够进行比较复杂或者高要求的工作。那么类比一下机器,我们让机器学习,不管学习什么,最终目的都是让它独立或半独立地进行相对复杂或者高要求的工作。我们在这里提到的机器学习更多是让机器帮助人类做一些大规模的数据识别、分拣、规律总结等人类做起来比较花时间的事情。但是请注意,与数据挖掘一起出现的这个机器学习概念和我们说的“人工智能”还是相差甚远,因为这里面对“智能”的考究程度实在是太低了。

原文发布于微信公众号 - 奇点(qddata)

原文发表时间:2016-01-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏祝威廉

从内容/用户画像到如何做算法研发

中午和一前同事一起用餐,发现还是有很多碰撞点的。交流了很多正在做的事情, 对方也提供了非常多的思想值得自己很好的思考。

15930
来自专栏机器学习算法与Python学习

如何准备机器学习工程师的面试?

我之前面试一些公司的机器学习或者数据挖掘工程师的职位。感觉自己准备的不够充分。想了解下一般会问哪些问题,考察哪些方面的东西?? 周开拓 ~~~~~~~~~~~~...

28770
来自专栏机器之心

前沿 | 不再需要动作捕捉,伯克利推出「看视频学杂技」的AI智能体

作者:Xue Bin (Jason) Peng 和 Angjoo Kanazawa

21930
来自专栏AI科技评论

技术大牛带你走向机器学习“正道”:小朋友才迷信算法,大人们更重视工程实践

AI科技评论按:“算法”这两字在人工智能圈已然成为“高大上”的代名词,由于不少在校生和职场新人对它过度迷恋,多名 AI 资深人士均对这一现象表示担忧。李开复曾这...

41330
来自专栏数据的力量

深入浅出谈数据挖掘

18980
来自专栏携程技术中心

干货 | 助理来也胡一川:深度学习在智能助理中的应用

作者简介 胡一川,来也联合创始人和CTO。来也专注于智能对话技术,让每个人拥有助理。此前,胡一川联合创立了影视推荐引擎"今晚看啥"并被百度收购,后加入百度任资深...

41070
来自专栏新智元

DeepMind用深度学习模仿大脑推理,预测编码智能推进一大步!

【新智元导读】预测编码理论认为,大脑的感知、运动控制、记忆及其他高级功能,取决于真实经历和大脑对未来的预测之间的差异。DeepMind新推出的“生成查询网络”模...

11310
来自专栏人工智能头条

面试了8家公司,他们问了我这些机器学习题目......

28760
来自专栏AI科技大本营的专栏

传统程序员转型AI做错了吗?

近年来,随着 Google 的 AlphaGo 打败韩国围棋棋手李世乭之后,机器学习尤其是深度学习的热潮席卷了整个 IT 界。所有的互联网公司,尤其是 Goog...

16040
来自专栏PPV课数据科学社区

【学习】深入浅出——谈数据挖掘

本文对数据挖掘概念的产生,数据挖掘与常规数据分析的主要区别,所能解决的几大类问题和所应用的领域都有着非常清晰的论述。作者在此篇文章中认为数据挖掘最重要的要素是分...

28740

扫码关注云+社区

领取腾讯云代金券