数据挖掘工程师在公司中一般都具体做什么?需要了解哪些知识?

以后想从事数据挖掘行业,但不清楚数据挖掘工程师的工作到底是做什么?

如果仅仅只是用excel,sas,python,r语言等工具来用现有的算法进行数据挖掘,总感觉比软件工程师的工作量要小,那为什么很多数据挖掘工程师的招聘要求还特别高?

是否很多数据挖掘工程师还需要对具体场景设计新的算法和方案来进行数据挖掘?

如果现在要学习的话是否还需要学习hadoop,hive等之类的分布式应用的平台?

对于数据挖掘,以下为个人的理解:

数据挖掘,从字面上理解,就是在数据中找到有用的东西,哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了,比如电商数据,如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等,进一步,可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像,就相当于用这些挖掘出来的属性来刻画一个人,这些还是最简单的东西,更深层次的比如预测(股票预测),但是比较难。

说到数据挖掘。往往与机器学习离不开。比如分类、聚类、关联规则挖掘、个性化推荐、预测、神经网络、深度学习等。很多年前说人工智能AI(比如产生式系统、专家系统等,好像现在提得比较少了),90年代AI到了瓶颈阶段,机器学习是一个突破口,现在机器学习又遇到了瓶颈阶段,深度学习又是一个突破口(其实神经网络出来了很久,但是为什么中间一段时间沉寂了,在70年代左右出现了低潮(根据评论修改),我归结是两点,第一神经网络就像一个黑夹子一样,很多东西不透明,模型的解释性不强,以及当时没办法处理非线性分类问题,参数过多,训练复杂,容易出错,容易过拟合,无法保证全局最优,加上很多问题无法用数学方法证明(个人理解)等等,科学家和工程师还是有区别的,科学家都想把一个问题归结为数学问题,然后证明出来,他们就会认为是有意义的,数学上证明其有效往往比做千百个实验说明其有效要好些吧,工程师往往更在乎效果与结果),直到后来出现了BP算法。第二,得益于现在的大规模计算工具,能够处理PB级别的数据了。总之现在人工智能还远没达到人类的水平,最后结果会怎样,这个暂时不设想。

目前正处于大数据时代,很多企业拥有巨大的数据,比如阿里拥有消费数据、百度拥有搜索数据,腾讯拥有社交数据,消费数据与搜索数据都可以直接变现形成商业模式,而社交数据暂时还无法直接变现,至少企鹅现在还在探寻中,举个例子,你的朋友圈,qq空间到处是广告,你是不是很讨厌,差评,呵呵。数据有了,还有个重要的方面,处理数据的能力,也就是数据处理工具,能够处理这么大的数据量,二者不可或缺,缺一谈什么大数据都是耍流氓。

以上都是一些yy。对于数据挖掘工程师:

首先你数学知识肯定要扎实吧,统计与概率论是最基本(也有人说现在的机器学习是统计学习,确实有道理)、微分与积分肯定要知道、数学公式要看的懂吧,进阶阶段最优化,随机过程等。建议去看看机器学习十大算法与一些深度学习的东西,多看大牛的博客。

对于语言,搞科研知道matlab就永不怕了,但是对于工程师嘛,肯定要知道写代码吧,不懂写代码的工程师都是扯淡,不要写代码的数据挖掘与机器学习,那是研究员,懂得一门高级语言与一门脚本语言就差不多了(如JAVA或C++,Python或R,个人推荐Java与Python,因为像Hadoop、Spark、Hive、MPI之类的都对Java提供了很方便的接口,Python写脚本很爽),还需要懂得Linux、Shell、SQL,这都是个人意见,至少在阿里,用java+sql+python+shell,阿里有个很牛逼的东西叫做odps,可以去查查相关资料。

对于你所说的excel、sas,数据分析人员专用,因为工程师嘛,编程语言还是必须的。对于是否需要学习hadoop、hive之类的,个人意见是只要知道用,然后怎么用,怎么在上面实现一些算法,怎么去优化自己写的程序就差不多了,它们只是工具,而且更新得很快,就说hadoop吧,我还没完全搞明白,就逐渐被spark取代了,记住,这些只是工具而已。推荐个加深你数据挖掘功力的东西weka(单机版的)与mahout(分布式的,有基于hadoop与spark),都是开源的。

对于工作是否需要设计新算法,我觉得在企业还是没有要求这么高,除非你觉得自己很牛逼,想向google看齐,但是设计一个好的算法并能解决实际问题的算法,不是一朝一夕的,个人观点,很多算法可以想出来,最大的问题就是怎样去证明其正确,其有效。想到企业中去,多看看google与ms工程性的文章,想研究就多看看学术大牛的文章,比如ICML,IJCAI,KDD,NIPS,CVPR等。大部分工作是,将已有的机器学习与数据挖掘算法应用到具体的实践中,根据业务场景与数据特点对算法进行改造或者调整等。

最后举个例子,你在淘宝上买一件衣服,系统怎样向你推荐你感兴趣的并且和这件衣服搭配的裤子或者饰品,这就是数据挖掘工程师的一方面工作。(Via:知乎)

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-02-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

深度学习与人工智能革命:part I

? 导读:人工智能始于思想实验,深入了解AI和深度学习的历史,并了解它们为什么现在取得快速的发展。 深度学习(DL)和人工智能(AI)已经不再是科幻小说中遥不...

2544
来自专栏前沿技墅

AI对话系统3.0:社交聊天机器人

最近,人工智能领域的后起之秀Facebook着实火了一把。根据2017 年6 月17 日美国《大西洋月刊》的报道,Facebook人工智能实验室设计的两个聊天机...

833
来自专栏BestSDK

一周简报|Uber推出机器学习平台Michelangelo,可训练API

声网SDK与V-cube达成战略合作,共同开拓日本视频市场;北汽与百度签署战略合作,打造“人工智能+汽车”生态;智齿客服加入“大数据星火联盟” 助力企业服务转型...

38710
来自专栏AI科技评论

现场 | 英特尔Naveen Rao:机器学习嵌入到AI专用芯片中是什么样?

昨天上午,英特尔在北京举办了【释放IA,原力拥抱AI】时代的年度论坛,英特尔全球副总裁兼中国区总裁杨旭;英特尔数据中心事业部副总裁、数据中心解决方案部总经理Ja...

3316
来自专栏PaddlePaddle

技术|深度学习行业应用及就业方向大猜想

一直以来,大家都在盛传深度学习是工程师的风口,但是对于深度学习和行业的联系却很少被提及。

1021
来自专栏新智元

AutoML将深度学习最难一环自动化,AGI技术基础已开始铺设

【新智元导读】谷歌在 I/O 大会上新发布的 AutoML 旨在自动化设计深度学习软件最难的部分之一——为神经网络选择正确的架构。包括 Facebook 的 A...

3835
来自专栏AI科技评论

观点 | 集齐叶荫宇、蓝光辉、陈溪、李建、王子卓的大牛圆桌会,关于算法优化他们都聊了什么

6月24日下午,钛媒体和杉数科技主办的2017 AI 大师论坛在京举行,论坛邀请了五位算法优化、机器学习领域的顶尖教授、学者出席并发表学术演讲,他们分别是斯坦福...

3126
来自专栏企鹅号快讯

智能刷脸,打开新“视界”

不久前,在2017年美国国家标准与技术研究院组织的全球人脸识别技术测试上,一支中国人工智能技术团队超过来自俄罗斯、美国、法国的对手,成为第一个获得冠军的中国团队...

1809
来自专栏DT数据侠

数据分析1382份简历:就业性别歧视真的存在吗?

在求职时,性别真的有影响吗?不同行业、不同职业类别的人对此或许有不同看法。这样的看法是如何产生的?有没有一种科学的方法来衡量呢?美国旧金山的一位数据侠Prasa...

940
来自专栏AI科技评论

哈尔滨工业大学刘挺:独家解读人机对话技术的进展 | CCF-GAIR

AI 科技评论按:2017 年 7 月 8 日,由中国计算机学会(CCF)主办,雷锋网与香港中文大学(深圳)承办的全球人工智能与机器人峰会(CCF-GAIR)进...

3998

扫码关注云+社区