00:00
啊,接下来看一下重点啊,1.6大数据部门组织结构啊。非常重点,如果现在你能消化掉,那未来你就业的时候就省多了啊,如果现在没搞定,那就需要你在就业之前。我回来看一看这个。大数据部门组织结构啊,这里面呢,往往你也就是说你日后你要从事的大数据当中哪一个方向。因为大数据里面涉及到很多方向啊,第一个方向呢,是平台主。啊,第二个方向是数据仓库组,第三个呢是数据挖掘,第四个是报表开发。几个主播啊,那我们一个一个给大家解释,第一个平台主啊。干什么事情?主要干这么三件事情啊。第一件事情,把这个我们学过的框架像什么,还把母卡卡斯。SPA等等。把这些框架搭建起来。主要干什么呢?采集数据。你说原数据在这儿放哪?
01:00
那你这个数据是放到这个服务器上,怎么把这个服务器数据,把这个数据采集到你要分析的一个平台上。再倒过来。对它进行一个分析。那这个通道啊,这个春季的通道。就是你平台的标杆。保证每一个框架正常稳定的运行,你要保证排都稳运行、运行、卡不卡运行、运行以及SPA运。啊,任何一个框架出问题对吧。有两篇。但是呢,比运维的高级一些,运维呢,相当于是呃,这个框架我都到,呃原来就有已经完全能运行了,那它基本上偶尔有几个服务器节点挂掉了啊,我把这个换掉。啊,增加一个球器啊,推一个服务器啊等等。偏低级一些,我们那是从无到有去搭建整个这个框架平台。把生意搞走,而且有问题呢,我们也能解决。啊,同时呢,还会写一些代码。
02:00
尤其要是平台这块做的特别好的话是。什么呢?这些所有放假的源码。全部能重新编译并且修改。这是真正的一个好啊,咱们有个兼职老师,呃,是前美团的架构师啊。就能打到。没事呢,就改,开动源码重新编译。终于生长。按照它的功能去做。呃,像海这块改的最狠的,目前我知道的啊,最狠的百度。我们后面讲的孩子框架的版本呢,现在是2.7.2。你知道百度用的什么吗?是0.80.9。但是他这个0.8和0.9可不是。官网上那个0.806。只是基于那个,他在底层修改了很多很多东西。而且它的底层用什么写的呢?他有人情感的大量同学吗?
03:03
还是比较牛的啊。所以这块呢,说是这个0.80.9,但是呢,实际呢,其实这里面呃。已经改的面目全非了。各种自定义。但这个呢,要求确实很高啊,如果达到这种程度,你的薪资待遇。他之前去滴滴面试,呃,开始的性质就是。没去。自己还是在一家上市公司。经济在低啊。也是仅次于那个100万的。呃,再往下呢,是这个下面集群的性能。他干的什么呢?就是鸡群,你在里面跑的慢了。这些你突然发现啊,慢下来了,处理任务的速度降低了。那这个活都是平台主干做的啊。他来想办法对这个进行这些框架进行一个调优。
04:00
啊,这些我们都会讲啊,调用。那另一个呢,这个是集群性能的一个调优吧。这也是监控啊,发现问题,发现问题之后都有。发现问题就是说监控这个框架能不能正常运行,监控它能不能正常运行,监控它能不能运行,同时还有监控这里面的数据量是什么样的。那这个监控完之后,这个呢,是具体的去调优解决。是平台酒相对来说。偏累一些啊。往往呢,不是有很多人愿意去做这个东西。他跟业务没关系。跟技术有关系。这里面考的你就是技术。呃,随着你的年龄增长,那就要求你的技术必须得不断更新。那下面这个就不一样了啊,这个数据仓库啊,它跟平台主恰恰相反。数据仓库,你看他干什么啊,他干的主要是数据清洗以及呢分析。数据。
05:00
那么分析数据就跟业务。各种电商业务啊,旅游业务啊,啊,还有这个像这个金融业务等等,这个随你的年龄增长。价格越多。那这个呢,就得随着技术的增长,你不断的去更新。更新的自己的技术。两个方向啊。OK,那这里面需求量最大的是哪一个职位呢?就是出差啊。包括咱们现在加了一个项目,这一个受伤能解决你们班50%的录音。甚至会更多。这东西随着你的业务逐渐的增长。你的薪资待遇会越来越高。但是比较繁琐啊。尤其是这块啊,这块呢,是往往是实习生啊,或者干务公司的啊,会干这些事,ETL干嘛的呢。数据清洗啊,数据清洗,过滤掉脏数据,所谓的脏数据呢,就是不合法的数据,比如说工行。
06:03
比如说充值。比如说你的网络是404了,这条数据没有意义啊,比如说是505500。等等啊,当然你要是专门分析它,那这个数据就变成有效数据。这你怎么看?啊,那这是这两块需求量非常大。这个发展空间也比较好啊。那另一个呢,发展空间就更好了。数据挖掘。18年。包括三个班就有好几个。其实这个数据挖掘的。呃,这里面涉及到这个三个岗位,一个是算法工程师,一个是推荐系统,一个用户画像。啊,这种冬天算法。这个考考智商,考几分钟了,看能力强不强。像那个算法工程师,呃,目前为止基本上都是什么呢?北大的受损?或者博士。
07:00
清华的。清华的像北大的都不一定能排上号啊,像现在在这个有钱的公司,像这个BAT往往都是海龟。各种海归。像牛津。还有斯坦福啊等等一堆。我给你们呃,讲到这儿,给你们说一个,呃,360的,咱去360的一个学生。周六回来查下。他身边都是各种啊吃的猴牛筋。他是一个最菜的,之前有出来一个。呃,有意思的事情,他们开会啊,部门内部开会。然后边上坐了四位大咖。哎,你哪的。一定的啊。哪呢,斯坦福的。你哪的,清华北大的等等,然后到他这儿。算了吧。就是他知道啊,他是一个二本的一个学校。就是到他那就算了啊,人家都是全清一色的啊海龟,然后牌。
08:03
绝对的经典。天天他就给人家打鼻炎了。这个干一些这个。人家不愿意干的啊。当然也学到很多东西啊,呃,他前两天给我发了一个这个优秀员工奖啊,他。关部门成功一些员工,他还被评为了一名员工。这说明人的表现还是非常不错的。人际关系处理的特别好。最近呢,还呃,已经成功的指导了一个妹子了,微新入职一个妹子嘛,今天。给他带被子了。非常好啊,像那个算法工程师啊。真正的烧烤工程师年薪都是?这个不是所有人都能。搞得定的,也不是你努努力就行的。这个靠什么?智商是硬伤,真是硬伤。这有些人你就在努力,就比如说我吧,我在我去考14高考,我觉得我也考不上北大吧。
09:02
信你回去也够呛。这个市场没办法。行,那下面呢,这个推荐系统,这个是咱们能够得着的哈,这个绝对能够得着,目前为止已经有好多至少得有十多个了,去搞这个推荐系统,而且未来你们呃。一定会拿到这个是吧,某大公司推荐系统。真实项目似的。好好去听,好好去教。啊,这个推荐的方法是非常精准。啊,包括下面呢,还有这个用户画像工程师啊,这个呢也是啊,对各种类型的人进行这个打标签,然后分析用户的一个行为,这个呢也是涉及到大量的这个社场啊。像这个百度啊,这个用户画像这个标签就是上千个。定位描述一个人啊。什么类型的人?一个标签啊,然后对这种人呢,进行这个精准的一个营销。好,那后面呢,还有一个地方。
10:01
报表开发组。那这个呢,就主要就是。加一。这个没办法是吧,啊在这里面呢,在我们这个大数据部门当中,他只是给我们打一些。边角料的,所以说呢,你未来的这个工作当中啊,如果是从事这个。给大数据就白学了是吧,你包括昨天那个那哥们儿来分享的。也有也有公司给他加的这个offer吗。他肯定不去啊,对不对啊,肯定不去,你这不越越学越往回整就没有意义了啊,所以说做就做。大数据的开发。而且这里面呢,呃,相当于是这么一个。相对来说这个啊。苦一点啊,这个需要点时间,需要你个三五年的时间的沉淀,那你可能是这个领域的大咖,那现待遇会猛增。
11:02
啊,如果说你达不到那。现在可能就一直。像这个受伤这一块,那就是偏业务,偏业务呢这块呢,我建议你们进到这个行业,某一个行业之后。尽量在这个行业内部。不要再跨行业,这样呢,你这个薪资代也能上得去啊。而且你的职业这个道路呢,发展的会更顺。的话,这一块那需要你逐步聪明。接触这个东西快一些。像这个数据挖掘这一块,未来你们一定要想办法往这方面去转啊。想办法去赚。有机会像那个上网那个咱也有啊,你像目前我知道的一个是360那个们,就360那个他在接触,现在接触这一块。但是这个今天接触不到啊这个。那个呢,还有一个是去二手车的。也有这块身边都是这个像阿里P8的。
12:01
各种大神。他是有机会去看到这些东西的。但是最核心的。但是出外头去炫耀一下,或者找一个比较牛的工作也是可以的。但是。现在是你不能再这种在一线的公司了,一线的公司这种还是讲究你的治理背景啊,包括。目前为止。看过三五年之后。这是大数据部门的组织结构啊,一定要清楚啊,未来你要从事哪方面的这个工作啊啊。结果书。
我来说两句