从0到1去转型到大数据圈子

前言：对于一个陌生的领域，最重要的还是方向，有人引导那会更好，把有限的时间花在必要的事上，做一件正确的事。

说明：这篇文章是新年后的第一篇文章，算是微信互动问答和小密圈的综合，最近也有不少朋友问我这方面的问题。

一、来聊聊入门

2月2号，晚上九点。

我刚到上海，还没下高铁就有一位陌生的朋友主动添加我的微信。

在表达来意以后，我分别邀请了他进大数据挖掘畅谈的微信群，以及大数据挖掘杂谈的小密圈。

没过多久，他很客气的向我请教了一个苦恼很久的问题：

"他说自己是从事Java开发的，但是工作经验不是很久，况且也并非科班出身，可以理解成跨行业。但是一直特别喜欢数据、人工智能等，这些新的方向。自己平时也没闲着，看了很多关于Python的书，但是不知道用Python做数据分析和Hadoop\Spark到底有什么区别？也很想接触大数据领域，找了非常多的教程，但是比较迷糊，不知道何从下手，担心费力不讨好。"

最后还特别有心的说，想付费去邀请我回答这个问题。

我当然没有让他花钱，只是说统一放在每一期的互动问答来解决。对于我而言，在微信群和小密圈所提的问题，都是无偿的，尽我所能去解决少数人的疑惑，你觉得满意可以随意打赏，让别的小伙伴抢枪红包也可以。

后面我也认真思考了下这个问题，毕竟这样类似的问题，我也收到了很多次，况且我身边也有哥们正在转型来大数据行业。

接下来，我主要从这几个点去谈谈我的看法：

• 1.大数据圈子都会涉及哪些细分的岗位？
• 2.转型到大数据圈子，甚至是大数据挖掘，困难点在哪里？
• 3.我们能做什么呢？

第一点，大数据圈子都会涉及哪些细分的岗位？

不少朋友印象中，从事大数据行业的人，要么是在折腾集群的事，要么是在折腾数据的事。总之肯定要和数据打交道吧。

这话没毛病，但是还可以说深一点

对于这个领域，从数据源到数据化运营，这其中涉及的细分岗位特别的多。

简单来说。

万物根本，数据从哪里来？我曾经提到过，一般平台都会涉及这三方面的来源：

• 1、60%来源于关系数据库的同步迁移，偏业务运营数据。
• 2、30%来源于平台埋点数据的采集，偏用户行为数据
• 3、10%来源于第三方数据，或许是跨行业数据

第1点和第3点还相对容易，就第2点就需要结合业务场景（实时、准实时和离线）去分别对待，不管是离线还是流式，都是需要数据开发工程师去做这样的事。

而怎么设计存储的方式，在时间和空间上做平衡？以及表结构设计？这需要数据仓库工程师去多考虑，或许去结合实际业务重新规划一张主题表，都有可能。

不可避免，有数据就需要去结合实际业务场景和指标去清洗、加工数据

这时候，自然而然又孕育了ETL工程师，这一群活跃于业务和数据之间的小蜜蜂。

得到满意的数据后，不可避免需要展示给领导去看

作为一个最基础的数据产品，BI报表，这其中又涉及到不少的工作岗位，但或许与数据不太相关。

这些就有，Java Web工程师、UED和前端工程师。

但还有一个岗位是与数据最密切相关的，数据产品经理。

但是，随着发展，很多公司已经不在满足数据的展示了

这时候就需要在现有数据的基础上做很多的探索性工作，不管是结构性的数据，还是非结构性的数据。

大数据挖掘工程师和算法工程师也主要在做这方面的工作，可以理解成，一个更贴近业务运营，一个不那么与业务相关。

甚至会有不少公司会开展新的领域，比如图像识别、人脸识别和智能机器人等等。

深度学习这样的岗位也是少数公司所急缺的。

单单介绍到现在，就罗列了10多个岗位。

最后还有我们负责集群运维和整个技术架构的大管家。

所以，从0到1转型的第一步，是先清楚整个大数据领域都会有哪些具体的岗位？自己又感兴趣和真正适合哪个岗位？

至关重要！

第二点，转型到大数据圈子，甚至是大数据挖掘，困难点在哪里？

毋庸置疑，就两点：基础功底和方向感。

只要功夫深，铁棒磨成针。那都是后话，估计也没多少人有这个毅力。

在接触大数据这个领域，之所以薪资相对而言高一些，门槛就是一个条件。

我们也不扯远，就只针对大数据挖掘来说门槛的这些事

1、数学这个话题，你别想躲开，高数、线性代数、概率论、博弈论和图论、数值计算等等。

虽然所需知识面短时间内没有这么宽，但至少前三门学科是至关重要的。

我们都不谈虚的，比如数据敏感度、数据情怀和学习能力这些东西，就谈实际点

2、算法也是不可缺少，不管是算法导论，还是模型中常用的算法（分类、聚类、预测和综合评估等等），这些是你构建业务场景模型和写出高效模型的关键，也算一个。

3、代码工程能力，这估计切掉不少理论和工具型的朋友，之所以它重要，是因为你从事的是大数据挖掘，道一千说一万，能动手实践最重要。

4、英文阅读能力，好的学习资源都主要来自国外，这个是短时间内很难改变的现实，看懂外文的参考文献，除了有数学基础，英文是硬伤。（我自己也需要加强，这就是门槛。）

所以，单独谈上面这四点，不说别的软实力，就足够引起每一个转型到大数据挖掘朋友的注意了。

而第二个困难点就是方向感

俗话说，做一件正确的事，再正确做好这一件事

我经常见不少朋友初接触大数据，就花很多时间成本去折腾集群，还费力不讨好，又打磨自己的信心。

也有一些朋友整天看一些文献、高级的模型，沉迷于理论当中，自己也感觉心里空荡荡的。

也还有少数朋友，这里学一点，那里学一点，报个培训班就感觉领悟到一个大概，实不然，经不起深问，撤东墙补西墙的。（我最担心还是磨损了你自己的学习探索能力）

可以说，想从事大数据挖掘的朋友，做这些的事是很不明智的

所以，正确去学习大数据，大数据挖掘，很重要，有人引导当然最好，但更多看自己多去实践和总结。

第三点，我们能做什么呢？

也主要是围绕着基础功底和方向感去花时间。

心态上

该学习的理论知识，该动手写的代码，一点也不可马虎，别想着可以曲线救国，也别认为会调用算法库，会操作工具就算是做数据挖掘了。

当你深钻时候，你会发现学问多去了。

你可能花了2年时间掌握到了80%的专业能力，但是你或许需要再花5年时间才能领悟到剩余20%的精髓，甚至更长时间。

而这些事，没人可以替你完成，非你不可。

方向上

1.不闭门造车：大数据这个领域发展很快，有点点像前端这个岗位，有不少新技术产生，也又不少以往的技术被淘汰。但也离不开这几个场景，离线、准实时和实时。

2.找到伙伴一起学习：知识这东西，在于分享和讨论，别整天把那点点知识当作宝一样烂在心里。和别人共同学习，你才会发现更多你曾经忽视的细节，你也能用一倍的时间去获得多倍的知识。（这也是我乐于分享和总结的一个原因，我也有未知，因此我也在和身边的朋友互相学习）

3.试着找到一个引导人：不听老人言，吃亏在眼前。古话就是说的这个道理，的确，这是一个相对而言更快的方式。但是引导不是单方面依赖，那完全是害己。亲力亲为。

受之鱼不如授之以渔，话不在多，能懂就行。道理每个人都懂，但是能做出事的却没那么几个人。所以给想转行跳槽的伙伴们整理一份大数据学习资料