从0到1去转型到大数据圈子

前言:对于一个陌生的领域,最重要的还是方向,有人引导那会更好,把有限的时间花在必要的事上,做一件正确的事。

说明:这篇文章是新年后的第一篇文章,算是微信互动问答和小密圈的综合,最近也有不少朋友问我这方面的问题。

一、来聊聊入门

2月2号,晚上九点。

我刚到上海,还没下高铁就有一位陌生的朋友主动添加我的微信。

在表达来意以后,我分别邀请了他进大数据挖掘畅谈的微信群,以及大数据挖掘杂谈的小密圈。

没过多久,他很客气的向我请教了一个苦恼很久的问题:

"他说自己是从事Java开发的,但是工作经验不是很久,况且也并非科班出身,可以理解成跨行业。但是一直特别喜欢数据、人工智能等,这些新的方向。自己平时也没闲着,看了很多关于Python的书,但是不知道用Python做数据分析和Hadoop\Spark到底有什么区别?也很想接触大数据领域,找了非常多的教程,但是比较迷糊,不知道何从下手,担心费力不讨好。"

最后还特别有心的说,想付费去邀请我回答这个问题。

我当然没有让他花钱,只是说统一放在每一期的互动问答来解决。对于我而言,在微信群和小密圈所提的问题,都是无偿的,尽我所能去解决少数人的疑惑,你觉得满意可以随意打赏,让别的小伙伴抢枪红包也可以。

后面我也认真思考了下这个问题,毕竟这样类似的问题,我也收到了很多次,况且我身边也有哥们正在转型来大数据行业。

接下来,我主要从这几个点去谈谈我的看法:

  • 1.大数据圈子都会涉及哪些细分的岗位?
  • 2.转型到大数据圈子,甚至是大数据挖掘,困难点在哪里?
  • 3.我们能做什么呢?

第一点,大数据圈子都会涉及哪些细分的岗位?

不少朋友印象中,从事大数据行业的人,要么是在折腾集群的事,要么是在折腾数据的事。总之肯定要和数据打交道吧。

这话没毛病,但是还可以说深一点

对于这个领域,从数据源到数据化运营,这其中涉及的细分岗位特别的多。

简单来说。

万物根本,数据从哪里来?我曾经提到过,一般平台都会涉及这三方面的来源:

  • 1、60%来源于关系数据库的同步迁移,偏业务运营数据。
  • 2、30%来源于平台埋点数据的采集,偏用户行为数据
  • 3、10%来源于第三方数据,或许是跨行业数据

第1点和第3点还相对容易,就第2点就需要结合业务场景(实时、准实时和离线)去分别对待,不管是离线还是流式,都是需要数据开发工程师去做这样的事。

而怎么设计存储的方式,在时间和空间上做平衡?以及表结构设计?这需要数据仓库工程师去多考虑,或许去结合实际业务重新规划一张主题表,都有可能。

不可避免,有数据就需要去结合实际业务场景和指标去清洗、加工数据

这时候,自然而然又孕育了ETL工程师,这一群活跃于业务和数据之间的小蜜蜂。

得到满意的数据后,不可避免需要展示给领导去看

作为一个最基础的数据产品,BI报表,这其中又涉及到不少的工作岗位,但或许与数据不太相关。

这些就有,Java Web工程师、UED和前端工程师。

但还有一个岗位是与数据最密切相关的,数据产品经理。

但是,随着发展,很多公司已经不在满足数据的展示了

这时候就需要在现有数据的基础上做很多的探索性工作,不管是结构性的数据,还是非结构性的数据。

大数据挖掘工程师和算法工程师也主要在做这方面的工作,可以理解成,一个更贴近业务运营,一个不那么与业务相关。

甚至会有不少公司会开展新的领域,比如图像识别、人脸识别和智能机器人等等。

深度学习这样的岗位也是少数公司所急缺的。

单单介绍到现在,就罗列了10多个岗位。

最后还有我们负责集群运维和整个技术架构的大管家。

所以,从0到1转型的第一步,是先清楚整个大数据领域都会有哪些具体的岗位?自己又感兴趣和真正适合哪个岗位?

至关重要!

第二点,转型到大数据圈子,甚至是大数据挖掘,困难点在哪里?

毋庸置疑,就两点:基础功底和方向感。

只要功夫深,铁棒磨成针。那都是后话,估计也没多少人有这个毅力。

在接触大数据这个领域,之所以薪资相对而言高一些,门槛就是一个条件。

我们也不扯远,就只针对大数据挖掘来说门槛的这些事

1、数学这个话题,你别想躲开,高数、线性代数、概率论、博弈论和图论、数值计算等等。

虽然所需知识面短时间内没有这么宽,但至少前三门学科是至关重要的。

我们都不谈虚的,比如数据敏感度、数据情怀和学习能力这些东西,就谈实际点

2、算法也是不可缺少,不管是算法导论,还是模型中常用的算法(分类、聚类、预测和综合评估等等),这些是你构建业务场景模型和写出高效模型的关键,也算一个。

3、代码工程能力,这估计切掉不少理论和工具型的朋友,之所以它重要,是因为你从事的是大数据挖掘,道一千说一万,能动手实践最重要。

4、英文阅读能力,好的学习资源都主要来自国外,这个是短时间内很难改变的现实,看懂外文的参考文献,除了有数学基础,英文是硬伤。(我自己也需要加强,这就是门槛。)

所以,单独谈上面这四点,不说别的软实力,就足够引起每一个转型到大数据挖掘朋友的注意了。

而第二个困难点就是方向感

俗话说,做一件正确的事,再正确做好这一件事

我经常见不少朋友初接触大数据,就花很多时间成本去折腾集群,还费力不讨好,又打磨自己的信心。

也有一些朋友整天看一些文献、高级的模型,沉迷于理论当中,自己也感觉心里空荡荡的。

也还有少数朋友,这里学一点,那里学一点,报个培训班就感觉领悟到一个大概,实不然,经不起深问,撤东墙补西墙的。(我最担心还是磨损了你自己的学习探索能力)

可以说,想从事大数据挖掘的朋友,做这些的事是很不明智的

所以,正确去学习大数据,大数据挖掘,很重要,有人引导当然最好,但更多看自己多去实践和总结。

第三点,我们能做什么呢?

也主要是围绕着基础功底和方向感去花时间。

心态上

该学习的理论知识,该动手写的代码,一点也不可马虎,别想着可以曲线救国,也别认为会调用算法库,会操作工具就算是做数据挖掘了。

当你深钻时候,你会发现学问多去了。

你可能花了2年时间掌握到了80%的专业能力,但是你或许需要再花5年时间才能领悟到剩余20%的精髓,甚至更长时间。

而这些事,没人可以替你完成,非你不可。

方向上

1.不闭门造车:大数据这个领域发展很快,有点点像前端这个岗位,有不少新技术产生,也又不少以往的技术被淘汰。但也离不开这几个场景,离线、准实时和实时。

2.找到伙伴一起学习:知识这东西,在于分享和讨论,别整天把那点点知识当作宝一样烂在心里。和别人共同学习,你才会发现更多你曾经忽视的细节,你也能用一倍的时间去获得多倍的知识。(这也是我乐于分享和总结的一个原因,我也有未知,因此我也在和身边的朋友互相学习)

3.试着找到一个引导人:不听老人言,吃亏在眼前。古话就是说的这个道理,的确,这是一个相对而言更快的方式。但是引导不是单方面依赖,那完全是害己。亲力亲为。

受之鱼不如授之以渔,话不在多,能懂就行。道理每个人都懂,但是能做出事的却没那么几个人。所以给想转行跳槽的伙伴们整理一份大数据学习资料

原文发布于微信公众号 - 大数据钻研(bigdata118)

原文发表时间:2018-04-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

Google是如何做移动搜索的

34412
来自专栏CSDN技术头条

薪资提不上去是因为你不懂市场需求

前言 首先在此感谢大家的捧场支持,大家订阅我的 Chat 是对我的信任,本人也不想让大家失望,不想在这篇文章中给大家灌鸡汤,希望分享给大家一些为我所受用的知识,...

3454
来自专栏CDA数据分析师

2017内存不足,数据分析师该如何Review自己的2017?(附福利)

作者 付宇骄 2017,转眼还剩34天,作为数据分析师,如何Review自己这一年?本文笔者将带领大家通过自己的某一个习惯性行为的记录,把自己的一年串起来。 1...

1846
来自专栏VRPinea

连虚拟化身都没有的你,还敢自诩自己走在时尚科技的尖端?

34310
来自专栏Java学习123

程序员如何持续提升自己的开发技能

3299
来自专栏Java架构师进阶

程序员千万别被技术绑架

通常我们说程序员需要在某个技术方向上积累到一定的厚度,要能够运用技术有效地解决实际问题。可是当程序员在某一项技术上浸淫时间长了之后,却经常会出现另外的问题,那就...

1044
来自专栏科技向令说

ALL in 人工智能,百度还是我们知道的那个百度吗?

最近一段时间,投资百度公司的各路资本喜上眉梢。短短4个月,股价上涨近50%,百度也一跃成为市值接近千亿级的重量级选手。今天凌晨百度公司公布的财报显示,百度Q3的...

702
来自专栏服务端技术杂谈

移动互联网产品的设计

移动互联网产品的方法论: 手机作为一种联系工具,天然决定了移动互联网的主要服务对象是人群而非个人。移动互联网产品经理的主要任务是服务人群,主要工作是研究...

3304
来自专栏java一日一条

10年学到的编程经验总结

我作为一个web开发者的旅程始于2000年,那时我还只有21岁,我依然可以清楚地记得那些日子里激荡在我内心的感觉。如果一定要找一个词来形容的话,我觉得那是——愉...

812
来自专栏服务端技术杂谈

这个时代,写给我们这些浮躁的程序员

2010 年初写过一篇博客(我们是一群和平年代充满浮躁与抱怨的程序员),一年过去了,社会好像更浮躁,也有网友问我这方面的问题,于是有了下面这篇文章,再次写 给我...

31011

扫码关注云+社区

领取腾讯云代金券