【陆勤践行】数据挖掘从入门到进阶

做数据挖掘也有些年头了,写这篇文一方面是写篇文,给有个朋友作为数据挖掘方面的参考,另一方面也是有抛砖引玉之意,希望能够和一些大牛交流,相互促进,让大家见笑了。

入门:

数据挖掘入门的书籍,中文的大体有这些:

JiaweiHan的《数据挖掘概念与技术》

IanH.Witten/EibeFrank的《数据挖掘实用机器学习技术》

TomMitchell的《机器学习》

TOBYSEGARAN的《集体智慧编程》

AnandRajaraman的《大数据》

Pang-NingTan的《数据挖掘导论》

MatthewA.Russell的《社交网站的数据挖掘与分析》

很多人的第一本数据挖掘书都是JiaweiHan的《数据挖掘概念与技术》,这本书也是我们组老板推荐的入门书(我个人觉得他之所以推荐是因为Han是他的老师)。其实我个人来说并不是很推荐把这本书。这本书什么都讲了,甚至很多书少有涉及的一些点比如OLAP的方面都有涉猎。但是其实这本书对于初学者不是那么友好的,给人一种教科书的感觉,如果你有大毅力读完这本书,也只能获得一些零碎的概念的认识,很难上手实际的项目。

我个人推荐的入门书是这两本:TOBYSEGARAN的《集体智慧编程》和IanH.Witten/EibeFrank的《数据挖掘实用机器学习技术

集体智慧编程》很适合希望了解数据挖掘技术的程序员,这本书讲述了数据挖掘里面的很多实用的算法,而且最重要的是其讲述的方式不是像Han那种大牛掉书袋的讲法,而是从实际的例子入手,辅以python的代码,让你很快的就能理解到这种算法能够应用在哪个实际问题上,并且还能自己上手写写代码。唯一的缺点是不够深入,基本没有数学推导,而且不够全面,内容不够翔实。不过作为一本入门书这些缺点反而是帮助理解和入门的优点。

推荐的另一本《数据挖掘实用机器学习技术》则相对上一本书要稍微难一点,不过在容易理解的程度上依然甩Han老师的书几条街,其作者就是著名的Weka的编写者。整本书的思想脉络也是尽可能的由易到难,从简单的模型入手扩展到现实生活中实际的算法问题,最难能可贵的是书的最后还稍微讲了下如何使用weka,这样大家就能在学习算法之余能够用weka做做小的实验,有直观的认识。

看完上述两本书后,我觉得大体数据挖掘就算有个初步的了解了。往后再怎么继续入门,就看个人需求了。

如果是只是想要稍微了解下相关的技术,或者作为业余爱好,则可随便再看看AnandRajaraman的《大数据》以及MatthewA.Russell的《社交网站的数据挖掘与分析》。前者是斯坦福的"Web挖掘"这门课程的材料基础上总结而成。选取了很多数据挖掘里的小点作为展开的,不够系统,但讲的挺好,所以适合有个初步的了解后再看。后者则亦是如此,要注意的是里面很多api因为GFS的缘故不能直接实验,也是个遗憾

如果是继续相关的研究学习,我认为则还需要先过一遍TomMitchell的《机器学习》。这本书可以看做是对于十多年前的机器学习的一个综述,作者简单明了的讲述了很多流行的算法(十年前的),并且对于各个算法的适用点和特点都有详细的解说,轻快地在一本薄薄的小书里给了大家一个机器学习之旅。

进阶:

进阶这个话题就难说了,毕竟大家对于进阶的理解各有不同,是个仁者见仁的问题。就我个人来说,则建议如下展开:

视频学习方面:

可以看看斯坦福的《机器学习》这门课程的视频,最近听说网易公开课已经全部翻译了,而且给出了双语字幕,更加容易学习了^_^

书籍学习方面:

我个人推荐的是这样:可以先看看李航的《统计学习方法》,这本书着重于数学推导,能让我们很快的对于一些算法的理解更加深入。

有了上面这本书的基础,就可以开始啃一些经典名著了。这些名著看的顺序可以不分先后,也可以同时学习:

RichardO.Duda的《模式分类》这本书是力荐,很多高校的数据挖掘导论课程的教科书便是这本(也是我的数据挖掘入门书,很有感情的)。如果你不通读这本书,你会发现在你研究很多问题的时候,甚至一些相对简单的问题(比如贝叶斯在高斯假设下为什么退化成线性分类器)都要再重新回头读这本书。

ChristopherM.Bishop的《PatternRecognitionAndMachineLearning》这本书也是经典巨著,整本书写的非常清爽。

TheElementsofStatisticalLearning》这本书有句很好的吐槽“机器学习--从入门到精通”可以作为这本书的副标题。可以看出这本书对于机器学习进阶的重要性。值得一说的是这本书虽然有中文版,但是翻译之烂也甚是有名,听说是学体育的翻译的。

Hoppner,Frank的《GuidetoIntelligentDataAnalysis》这本书相对于上面基本经典巨著并不出名,但是写的甚好,是knime官网上推荐的,标榜的是解决实际生活中的数据挖掘问题,讲述了CRISP-DM标准化流程,每章后面给出了R和knime的应用例子。

以前写过的读书笔记http://www.cnblogs.com/flclain/archive/2012/11/23/2785079.html

项目方面:

事实上,我觉得从进阶起就应该上手一些简单的项目了。如果不实践只是看书和研究算法,我觉得是无法真正理解数据挖掘的精髓所在的。打个简单的比方,就算你看完了C++Primer、effectiveC++等等书籍,如果自己不写C++,那么自己也就会停留在helloworld的级别。实践出真知非常切合数据挖掘这门学科,实际上手项目后才会发现什么叫"80%的准备,20%的建模",realworld的问题我认为并不是仅仅靠modeling就能很好的解决的。详细的可以看看《GuidetoIntelligentDataAnalysis》就能略知一二。如果上手做推荐或者一些简单的项目,也可以考虑用用mahout,推荐的入门手册是《mahoutinaction》。项目问题说来话长,有时间会以CRISP流程为引单独作文,这里也就不详谈了。

软件方面:

我常用而且推荐的软件有如下,这里只是简单的列出,以后有时间再详细分析和写出入门:

WekaJava的软件,可以集成到自己的项目中

Orange一个用python写的数据挖掘开源软件,界面做的很漂亮,可以做图形化实验,也可以用python调用编程。

Knime和Orange类似,特点是可以集成weka和R等开源软件

SAS的EM模块以及**R**还有最最经典的**matlab**大大

不过引用余凯大大的一个weibo来说

“不用Matlab的理由太多,稍微列一下,大家补充吧:

  1. 积重难返,最后工作效率反而越来越低;
  2. follow production protocol, 相当于学习无数程序员的实践经验;
  3. 不能驾驭算法和系统的人不能真正作出有实用价值的研究成果;
  4. 百度腾讯阿里谷歌面试通不过;
  5. Matlab很贵”

这里有篇文有简要的介绍上面的部分开源软件http://www.oschina.net/question/12_14026

再往后:

再往后的其实就是我就是觉得是学数学了,然后就是深入读一些你感兴趣的topic的书籍和paper,接项目,做项目了。发展有数据分析师或者去专门的企业做数据研究员,当然混学术界的我就不清楚了。

文章来源:http://www.cnblogs.com/flclain/archive/2012/12/22/2829317.html

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2015-07-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

美团大脑:知识图谱的建模方法及其应用 | 公开课笔记

作为人工智能时代最重要的知识表示方式之一,知识图谱能够打破不同场景下的数据隔离,为搜索、推荐、问答、解释与决策等应用提供基础支撑。

2362
来自专栏新智元

【给 iOS 开发者】人工智能在 iOS 开发上的应用和机会

【新智元导读】这篇文章是一名 iOS 开发者总结他在硅谷和西雅图的所见所闻,对人工智能和机器学习的思考,以及人工智能给 iOS 开发者带来的机会和挑战。 前言 ...

4045
来自专栏大数据文摘

“半路出家”的Kaggle Grandmaster:如何正确打开数据科学竞赛?

凭借这一成绩,Vladimir也荣获了Kaggle的最高荣誉——竞赛超级大师(Competitions Grandmaster)。Kaggle至今已成立8年,注...

1477
来自专栏人工智能头条

人工智能的突破需要颠覆图灵机吗?

1842
来自专栏新智元

LeCun :一味模仿人脑将阻碍AI的发展

【新智元导读】Facebook的AI研究负责人指出,一味模仿人脑开发AI将会阻碍AI的发展。很多业界专家也有类似的论调,他们认为AI研究的重点不应是模仿大脑的工...

2726
来自专栏窗户

数学对于人类意味着什么

  这个话题是个很常见的话题,也是一个很难说明的问题。每当闲着无事的时候,我都会去思考一下关于数学的问题。正值假期,我有很多的时间来思考。   昨天大年三十,母...

36512
来自专栏镁客网

机器人也会造假、有偏见?原因在这

1282
来自专栏牛客网

秋招结束,一波干货面经分享。

秋招陆陆续续大概进行了一个月,目前基本结束了,拿到的offer有腾讯、阿里和网易,小弟在这分享一波感想,回馈牛客。

1185
来自专栏大数据文摘

CMU机器学习学院院长Tom Mitchell:计算机模拟人脑才刚刚起步

2955
来自专栏专知

贝叶斯网络之父Judea Pearl:要建立真正的人工智能,少不了因果推理

2132

扫码关注云+社区

领取腾讯云代金券