大数据工程师薪资在什么水平?

新一轮毕业季即将到来,就业问题又将成为讨论的热点,今年会是大学生们就业的春天吗?据权威数据显示,2015年全国普通高校毕业生人数达到749万,2016年全国普通高校毕业生人数达到765万,2017年的毕业生总人数再创新高,达到700万。大学生们面临的就业形势依然严峻,就业的春天不会来临。

那么毕业生们应该怎么做呢?我们先来分析下就业形势。

在全国仅34%企业招聘活动保持稳定的现状下,每年毕业的大学生人数正在不断的上涨,一个岗位可能存在上百的竞争者。

在这样残酷的就业环境下,求职者更应该找好自己的方向。土木、医疗、旅游等行业处于困境的情况下,IT行业的失业率正处在历史的低点,而且有的岗位甚至出现徘徊在1%的失业率。其中,大数据岗位匮乏,正处风口,我国大数据人才需求达到180万,目前只有不到30万人,人才缺口还将进一步扩大。

在IT技术中,有不少技术因为人才的饱和,就业竞争力已经相对较大。而大数据的人才需求正处于供不应求的状态,人才的紧缺决定了大数据职位薪资水平,平均8K起步。

而从工作经验来看,69.1%的企业对求职者的要求是经验不限,这对于正在需求工作,特别是应届大学生而言,无疑是千载难逢的机遇,当下是学习大数据黄金时间点。

因为人才的匮乏,企业对于人才要求并不高,据前程无忧、智联招聘、企业HR反馈信息,大数据人才供求严重失调,正处于风口,学习大数据正当时。想要取得高薪与良好的发展,大数据是个不错的选择。

目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试该职位,而各个领域的达人只要学会运用数据,也可以成为大数据工程师。

因为周末加班中午吃饭与一个同行朋友聊起了这个话题,之后再细细地结合一些其他接触的东西,确实是有些感触的。

并且对于行业的一些现状,也的确有些自己的看法,对不对先不论,这玩意儿也没有对错之分,每个人都有自己想法。

01 我眼中的大数据现状!

其实个人在大数据在大数据这个坑中,细细算来,时间也有3+年了,从一开始做大数据中心平台开发构建,到现在关注的数据上层应用挖掘。所以,基本上从数据收集->数据处理(离线实时,并且还勉强算是国内实时处理早期的实践者)->数据上层应用挖掘,这个链路都走了一遍。

并且,加上手里一千多人的大数据圈子,以及有过发起组织线下技术沙龙等等经历,坑内里的做的东西并不算十分的多,但是通过一些交流,接触过的这方面的东西还是不少的。

所以,不至于有资格说对这个技术方向有啥定论,但是一些自己的看法见解还是有滴。

说起大数据,有个成语可以来形容一下它的现状:遍地开花!

如今,在国内,只要是个IT公司(说的是非传统行业),出去的时候,感觉要是说自己公司没有涉足大数据都不好意思。

所以,现在的情况大部分是这样的:一个创业公司哪怕只有十多人的开发团队,也非得整一个大数据小组出来,我们不止要做大数据离线处理,还要做离线处理,不止有数据分析报表,我们还得进行深度的数据挖掘,做到精准的个性化推荐,流弊的数据预测!

偶滴娘亲啊,寥寥数人,不止要搭起一整套完整的数据收集、数据传输、数据离线实时处理,不止要维护hadoop集群、spark集群、storm集群的稳定性,抽空还要做深层数据挖掘,还要研究工业化流弊的算法。

你们招的这些人不是攻城狮啊,是神啊!这么流弊!

其实我并没有说这种做法一定是错的,只是行业现状真心很多这种情况。如今,大数据确实是异常略微畸形的火爆!

至于说大数据这个技术方向为何会如此的爆炸,个人的观点可能和大部分的观点一样:一方面是数据积累到一定程度了;另一方面是大规模数据处理技术的日渐成熟,其中当然以hadoop生态为代表。

但在不久前,我曾和一个创业公司的COE聊过这个话题,他的观点很新颖。他反驳了我的观点,他说中国现在之所以大数据遍地开花,是由于赚钱模式变了。

他说,在以前,随便搞点啥都能拉到一大坨投资,但现在经济形势不一样了,必须想其他新的触发点,那就是数据,并且围绕数据而产生新的利益点,这样,投资人才愿意投钱进来。所以,是个公司都愿意和大数据沾点边,不然都不好意思出去说。

就个人而言,其实感觉他说的也挺有道理的,不过我依然保持自己的看法,只是两人看待事情的角度有些不一样,我是从技术的角度去解析这个情况,而他则更多从创业者的角度试图去解释这个事情。无关对错!

就目前来说,业内大数据遍地开花这个情况确实是存在的,个人感觉大体上有如下的具体变化:

(1)涉足的数据处理方式上来说,大规模离线处理已经被玩坏了,稍微有点实力的公司都已经开始离线、实时并行了(近一两年Storm、Spark强势崛起);

(2)而在数据来源上,已经不再局限于自个的数据了,越来越多的公司开始爬取互联网上的公共数据(我曾在《DT时代变革的反思》一文中比较详细的分析过这个数据新来源);

(3)而在数据的上层应用上,也已经不再局限于多维统计分析,渐渐得向用户画像、精准个性化推荐、业务的预测等方向靠拢(但实际上深层挖掘方面,国内还是很low的);

002 大数据年份这东西!

之前和朋友吃饭时聊的时候,他说到大数据这个技术方向的积累问题。他曾感叹到,大数据这个方向还是缺少底蕴。

我问他为何这么说,他说你见过十年以上的大数据专家么?其他行业方向,比比皆是!我顿时无语,大数据这个技术方向满打满算才发展不到六七年吧,上哪找十年以上的大数据专家去。

情况确实是这样的,基本可以分这几种情况吧:

(1)在这个坑里,真正五年以上的大数据背景的人,已经可以算的上是半个专家了,业内绝对是稀有动物(所以,经常看到那种招聘简历写到十年以上大数据行业背景,我就笑了); (2)而诸如三四年的,会点数据架构,又会点上层数据应用挖掘的,估计至少也能算的是半个中坚了,这种人不算太少,但也绝对不算多; (3)最多的是那种不到两年大数据行业背景的,特别是那种听闻大数据行情好,纷纷转过来一两年左右的,再就是那种一毕业就立志投身大数据行业的新人朋友,这类型的人应该是占据大数据从业人士中的绝大部分。

这个方向却是缺少累积的,经常在群中(storm-分布式-IT技术 191321336)遇到那种号称是搞大数据的,然后问到:hadoop和storm哪个比较好?

我的天呐,为何他们那么喜欢把两个不是一类东西放在一起比较?!我都无力吐槽了,就目前来说,大数据这个方向确实缺少底蕴,还略显浮夸,需要时间去积累。

003 企业在招什么样的大数据工程师?

(1)刚洗白一两年的,或者立志为大数据行业做贡献的毕业生。

刚才说大数据行业遍地开花,人员稀缺,从个人经历来说,这真心是这种状况。

业务重心逐渐偏移到数据部,所以部门急剧扩招(当然也有老员工离职的问题),近三个月来,我陆陆续续面试了大约有7个人左右吧。

面试的人中有两三年工作经验的,也有四五年工作经验的,当然也有刚毕业的本科生或者硕士生。

看年份感觉都还不错是吧,但是如果你翻一翻简历就会哭了。就说说三到五年工作经验的吧。

简历中,项目经历一项一大溜啥XX管理系统、XX电商后端开发项目,翻了八九个项目,终于在最后看到辣么一两个大数据有关的项目。而掌握的技术中是各种的什么Spring MVC啊、SSH啊、js啊、甚至是php之类的,只有寥寥数个什么hadoop啥的,还不敢放在前头,当时我就哭了/(ㄒoㄒ)/~~。

情况真是这样的,工作经验足的,很多都是刚从其他技术领域转过来的,其中以开发java后端,诸如精通什么MVC框架的人群为主体。

能说上hadoop是怎么回事,会点MapReduce、Hive之类的是常态;会点Spark,能写Scala,知道Storm的,少之又少;能把整个数据框架流程说清楚的都是奇才了;至于说到大规模数据的深层挖掘,他们是这样说的“没怎么接触,但有这个兴趣去学”。

行情确实是这样的,大数据的坑挖的太大,所以各个公司都缺人,而且还是奇缺,所以也就有了上面我说的现象,各个行业,特别是传统IT行业的从业人士,纷纷转入互联网,投身大数据。而有点大数据经验的,大部分都是香馍馍似得供着,不愿意放手。

所以,最终我们这边实际情况就是,问HR咋回事,HR说JD发出去无数份,能拉过来面试的就酱紫了。

最终大老板发话了,说到:经验差点没关系,只要脑子活愿意学,就要!所以,7个人,offer就发出去4份。

但更悲剧还在后头,两个有大概平均1.5大数据经验的人,拿到offer后根本不鸟之,也也不知道后来去了哪个公司,而最后进来的是两个本科以及硕士应届毕业生。

所以,就目前来看,大数据行业的火爆带来的一个现状就是,大量的java开发人员转行,大数据行业背景平均在一年多,虽然如此,依然是供不应求的。

(2)我们来看看一些“喜人”的招聘需求。

随便翻一翻招聘网站的职位需求,每天都有大量的大数据相关职位被刷新。然后结合刚才我们所说的一些混乱现状,你会发现很多“喜人”的招聘说明。

我希望的是,用人的公司也好、企业也好,看完这个之后,能对招人有个更清晰的定位。

我们要的是大数据行业专家!

JD中是这么描述的,十年以上大数据领域经验,然后会XX,然后又得会XX。再多的俺就不多说了,结合刚才我们说的大数据行业历史。十年?我就呵呵了~~

我所看到的这种JD,大部分出自于传统IT行业(看到没,传统IT行业也开始追赶潮流了),而互联网公司职位描述就含蓄多了,最起码他们不会动不动就要十年以上“砖家”。

而且还有一点个人想吐槽的就是,你说十年就十年吧,给待遇还奇低无比。关于这一点,互联网公司就比较明白事理的。

关于大数据薪酬这一块,我们再进行分析分析~~

我们要的是能进行大规模数据挖掘的人才!

关于数据挖掘,上面也稍微提到过一点,数据的上层应用挖掘,这个需求随着数据处理流程日益完善,数据的应用已经从简单的多维统计分析,慢慢得向深层挖掘过渡。

不说大规模数据,就说传统的数据挖掘,其实这块就国内的情况来看,还是处于比较初级的状态的。

我们经常看到这样的职位JD描述,Title写的是“数据挖掘工程师招聘”,然后附加条件是,熟悉大数据领域,会MapReduce、kafka、hadoop、storm、spark,熟悉ETL,对若干NoSQL了解熟悉,能够进行平台搭建,平台开发,能够进行数据处理,会分类、聚类、用户画像、个性化推荐各种算法。

最后在工作年限上写着“1-3年”(年份太足是很贵的嘛)。我的天啊,他们看样子不止是想招数据挖掘工程师啊。

他们像是在招ETL工程师;不对,应该是大数据平台开发工程师;也不对,好像确实是在招数据挖掘工程师,没看到有算法需求吗。

我赶脚呀,他们不是在招数据挖掘工程师,他们是在招一个全能工程师,是在招一个神啊。

(3)说了不少,对于大数据人才招聘这块,简单的总结一下吧!

其实个人感觉,企业还是需要对自己岗位定位要有一个比较清楚的定位的。

如果你的资金足,想招一个业内权威点的,专家级人物,没关系,但你也别睁着眼瞎说十年呐。上哪去给你找十年专家啊!

所以,个人建议就是,瞄准在大数据领域真正玩过五年以上的,基本上就是牛人了,也足够你用的了。

然后针对刚才说的“数据挖掘”招聘现象,其实定位也很重要了,真心想要招一个类似“全能”的人,至少也要找一个在这个领域待过3+年的。

至少三年以上的时间,这种人会对数据架构,数据处理流程,甚至是上层数据应用挖掘,都有相应的经验,而不至于空白一片,并且容易带动其他一年半年的大数据经验的人,做方向导向,团队就能快速形成大数据战斗力。

所以,如果真心想要类似这种“全能”,真心实意点,把年份改到3+吧,并且要求实打实的3+大数据技术背景,估计差不多。

接下来就是那种一两年的大数据技术背景的,这种以java后端开发转行大军为代表。如果你的预算瞄准的是这个市场,那你也别玩虚的,对口招聘吧。

要做大规模离线处理,你就招会hadoop的;需要实时处理,你就招会Storm或者会Spark Streaming的;需要做ETL,你就招熟悉ETL流程的;招数据挖掘,就找会点算法的。这才是实在的!

而对于应届生来说,个人赶紧项目经验都是其次的,哪怕是一些实验室项目经验来说,也没啥大用。好歹算是接触过一些内幕的,所以实验室项目的质量,咱就不多说了,呵呵就行了。

所以,我们看的一是基础能力。就个人的感觉来说,基础能力当然不必说,我更偏向于对大数据技术感兴趣,并且思维敏捷的应届生。

为什么这么说呢?因为大数据技术这个领域会涉及大量的新事物,各种开源的东西,经验少没关系,只有思维够敏捷,有强大的快速学习能力,那就没有问题!

004 我们真的需要算法工程师吗?

接着刚才的话题,不少企业公司打着招数据挖掘工程师,算法工程师,我在想他们是真的需要算法工程师么?

答案显然是否定的!

我曾关于数据挖掘工程师与算法工程师的区别问题,跟不少人讨论过,我的个人看法是,算法工程师的范围显然是小于数据挖掘工程师的。

数据挖掘工程师需要了解整套数据流入的过程,包括数据的接入、预处理,然后需要知道怎么用数据解决实际的业务问题,说白就是想办法让数据产生价值。

他需要知道一整个数据到业务输出的机制或者说是系统,可能涉及到复杂的算法转化,也可能只是简单的规则转化,或者多个模型的转化组合输出等等,他是一个比较全面而概括性定位。

而算法工程师则不一样,他们的职责我认为更纯粹,他们需要知道如何把现实问题转化为数学的模型,并且把模型调到极致,从而解决问题。所以,算法工程师工作内容更单一,但是更专,需要更好的数学功底。

这也就是为何我不敢对外说是算法工程师的原因了,我怕被揍,哈哈~~

OK,有点绕远了。我们回过头来说说,目前大部分公司企业在找大数据的人,同时也在找数据挖掘工程师或者算法工程师。

那么,企业或者公司如何在数据挖掘这块进行定位呢?我个人认为,大部分中小公司是不具备找纯算法工程师条件的。如果,有小公司说要招算法工程师,要么是金多任性,要么是打着招算法工程师的幌子,招会点数据挖掘的人。

至于原因呢,一方面是算法这块,在国内属于稀缺资源,所以成本都比较高;另一方面就是在实际的业务操作中,高深的算法模型难以工业化(所以,大部分论文上的东西离工业化生产是很远的,别被骗了);再者就是在数据挖掘领域,一些很初级容易工业生产化算法,甚至是简单的规则定制,都在现阶段已经能达到业务目的了,我们又何必费那个劲呢?!

所以,我认为企业在这种阶段,你们需求是这种能够进行大批量数据处理,然后又知道怎么进行数据工业转化的人。因为,算法工程师在这种阶段难以获得你需要的性价转换。

包括我们大数据部门内部也是同样如此,算法小组冠着“算法”的头衔,干着数据处理的杂活。这需要时间去过渡!

当然,如果你一定要养那么一群专业的算法工程师,辣么,我只能说,你拿的天使投资太多了,估计是不知道怎么花了,养着就养着吧。

005 谈一谈薪酬,谈一谈人生吧!

最后,谈一谈薪酬,谈一谈人生,谈一谈理想吧!

说到谈薪酬,谈人生谈理想这个环节,我想大部分都是比较喜欢的,我也不例外,我也很喜欢,哈哈~~

正如之前所说的,大数据这个领域,有点略微畸形的火爆,导致了这个方向很缺人,也正是大量java后端开发人员转行的直接原因。

因为缺人,他们就转行么?显然是扯的!大伙儿都是有理想的人,要向“钱”看的。缺人,找不到人怎么办?提高待遇,自然就有了。

我看到过一份2014年的职业薪酬统计报告,其中大数据方向绝对是属于偏高的。就我所知,除去金融行业的高玩们。

接下来就是玩数据挖掘的,特别是会大规模数据挖掘的人,如果是专业的算法工程师,那么,就更赞了,麻麻再也不用担心我的工资了。

然后就是游戏行业的开发着,游戏是个保利行业,所以他们薪酬高一些是很正常的。

再接下来就是冠以“大数据”称号的攻城狮们。这类的,要么是做平台构建的,要么是做大数据架构,要么是做数据处理的等等。工资也比纯Java后端开发、C开发、C++开发等高那么半档一档的。

接下来跟大数据没有半毛钱关系的职位啥的,我就不多说了~~

006 写在最后

所以,总体来看,整个大数据行业还是比较混乱的,企业对自己需求定位很混乱,虽然如此,依然是难以招到人。

对于投身大数据这个坑的人来说,我个人的建议就是,要入行没问题,但是找准自己的兴趣G点,别想着啥都想掌握。找准一个切入点,比如就是平台搭建、就是ETL、就是写离线处理程序、就是研究实时等等,然后,慢慢再往大领域中扩充自己的大数据知识库存。

就我个人来说,从数据架构到数据上层应用挖掘,目前依然在坑内,也没有打算从大数据的这个坑中脱身。

大数据这个方向是个技术快速更新、迭代的技术领域,所以,个人鼓励坑中人士多多交流、多多分享才能跟上这个时代潮流。

我一直坚持着技术的分享与交流,所以也经常写点伪技术文章,只是希望能够把这个思想传递给更多的人。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2017-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java工会

浅析大数据前景及就业方向

这个时代是大数据时代,也是大数据人才稀缺的时代。由于中国人才缺口比较大,大数据也迅速成为行业和市场的热点,更多的企业无论是对人才的招聘还是在培训都成了刚需,这也...

1550
来自专栏PPV课数据科学社区

数据分析师薪资有多高?爬了29个城市的数据告诉你答案

想要从事数据分析师这个岗位,那自然首先需要对这个岗位有所了解。最直接、最真实的方式就是从企业那里获得需求讯息,这样才最能够指导自己的学习方向和简历准备。本文即是...

4268
来自专栏新智元

凯文·凯利:人工智能的未来在于各行各业的深度应用

【新智元导读】 上周在世界智能制造大会现场,凯文·凯利发表了主旨演讲。人工智能成为他此次演讲的绝对主角,同时,他也带来了一些新鲜的观点,在此与大家分享。 上周在...

3516
来自专栏AI研习社

品物 | 一篇文章告诉你,小米如何玩转“人工智能”

唯物按:2016年8月12、13日,雷锋网在深圳举办了盛况空前的“全球人工智能与机器人峰会(CCF-GAIR)”,来自中美加的全球最为顶尖的科研实验室、学术权威...

6177
来自专栏数据科学与人工智能

【应用】人工智能的未来在于各行各业的深度应用

小编邀请您,先思考: 人工智能对您所在行业有影响吗?如何影响? 如何利用好人工智能? 在世界智能制造大会现场,凯文·凯利发表了主旨演讲。在接近一个小时的演讲里...

2479
来自专栏AI科技评论

业界丨凯文·凯利来华再谈人工智能,并预测未来 25 年的技术发展趋势

近日,凯文·凯利在成都进行了一个名为《回到未来》的 主题演讲,主要分享了对 AI 等前沿科技的看法。 KK 提到:“要预测未来是非常困难的。但是我们有我们的优势...

3537
来自专栏AI科技大本营的专栏

人工智能“花”落何处

实际上,这种情况较为少见。去年,全世界3182名首席信息官(CIO)中,仅有4%表示他们已将人工智能相关的应用投入生产中,或是在未来12个月内有此计划。首席信息...

722
来自专栏AI科技评论

李彦宏、马化腾、沈向洋三巨头对话人工智能的应用和未来

AI科技评论按:4月2日,2017中国(深圳)IT领袖峰会正式开幕,腾讯董事会主席兼首席执行官马化腾、百度创始人、董事长兼首席执行官李彦宏、微软全球执行副总裁沈...

3556
来自专栏新智元

华尔街日报:AI 飞速发展,但仍有很长的路要走

【新智元导读】本文作者是一名拥有神经科学和行为生物学学位的资深科技记者/专栏作家,作者认为现在的AI好比正从水母向智慧生物进化的阶段,距离实现拥有真正智能的AI...

3685
来自专栏大数据文摘

高端访谈:人工智能下一步会如何改变商业与生活

1937

扫码关注云+社区

领取腾讯云代金券