00:00
好,接下来我们看一下第五章大数据部门间的一个业务流程,说的直白一点就是未来你去企业当中,作为一个大数据程序员,要跟哪些其他部门进行打交道,对吧?哎,其实我们打交道比较多的呢,往往是这个产品部门。参数部门,他负责给我们提需求,比如说到双11了,他给我们提出的需求就是统计双11实时的交易额。统计各个地区销售的排行,套文等等这些需求对吧?哎,由我们来解决。那这个产品经理呢,和咱们开发程序员呢?啊,往往是一对天敌啊,不知道大家听没听过这个,之前一个新闻,某公司内部的产品经理提出来按照手机壳颜色更改手机的主题,然后程序员和产品经理就大打出手啊,你可以上网上找啊,有相关的这个视频啊啊。所以说咱们程序员啊啊要注意一点,注意点什么呢?以后呢,在跟产品经理交流的时候,尽量呢把手背到后面去,然后呢,离显示器远一点,这样比较安全,那咱们程序员呢,通常情况下呢,就长这样。
01:02
有同学说海哥你这是不是太夸张了啊,其实也不是特别夸张啊,如果你是经过三天三夜对吧?啊,去改一个bug,终于把它改通了,那你基本上你就长这样。你像你三天三夜不洗脸啊,不睡觉啊,非常苍老啊,憔悴,那不就这样吗?啊,当然不,不是所有成员都这样啊,啊只有这个极端情况啊,遇到这个非常紧急的问题啊,比如说双11这种重大活动,或者过年我要搞重大活动,那你是坚决不允许让这个程序出问题了。啊,出现问题你必须得第一时间把它解决掉。嗯,好,这是这块,那还有一点,你看产品经理提出来了一个需求,说统计实时交易额,那老板要看呢,要看这个指标。那咱们说这个海哥,咱把指标写到MYSQL里面,让老板自己查去,那可不可以呢?当然不可以了,老板他不会MYSQL啊,而且他也不会去命令行去查,那怎么办?哎,老板能看得懂的就是这种图形化页面啊,一看非常清晰。
02:00
那不就行了吗?那我们就把这个数据啊,写到买色扣,让这个前端程序员把这个数据读走,然后进行一个可视化展示,这不就行了吗?哎,分工非常明确对吧?那这是我们大数据部门跟产品部门,跟这个前端啊,或者跟这个Java组相关的一个啊打交道啊OK哈,这是这块。那下面我们再来看一下,在大数据部门内部,它又有哪些组织结构。其实就是我们大数据程序员,他到底有哪些岗位。哎,通常情况下啊,有这么多岗位,平台岗,数仓岗,实施岗,数据挖掘岗,还有报表开发组这么多,那是不是所有公司都一定有这么五大岗位呢?不是这样的啊,每个公司呢,会根据自身的情况啊,进行一个灵活调整,那比如说你刚起步的公司,那就只有这个平台组啊,或者加上书商组。对吧,随着公司的发展得有实施主要这个数据挖掘报表啊这些。啊,这个不一样啊,而且呢,中型公司小型公司大型公司呢,略微有些区别,我这里面呢是呃,代表了大多数吧,啊,大多数公司内部的一个岗位需求,好来看一下啊。
03:05
第一个呢是平台主,那平台主他干什么事儿呢。他在企业里面啊,就是负责整个集群的一个搭建,把海德集群,弗洛姆集群,卡布卡集群18个集群搭建起来,那由平台组来完成。OK,那你搭建完之后,那如果说我任何一个组件挂了。我能不能自动化的发现,不需要我人为的去查看,对吧,因为这个程序在半夜运行的时候,我人还能跟他盯着吗?不太现实,所以说我需要对集群进行一个监控,那由谁来完成呢?由平台组来完成。OK。那再来,那我这个集群运行的性能好不好。能不能提升我运算的一个速度,由谁来解决啊,也由他来解决,它从硬件层面上帮我们进行相关的一个调用。那再来,那下一个呢,就是数仓工程师,那数仓工程师呢,哎同通常第一个职位呢,就是ETL工程师,如果你学的非常差的话,你可以从事这个。
04:03
他的薪资待遇还可以啊,12~15K之间,哎,只是负责数据的一个清洗啊,会这种正则表达式就可以了,把一些脏的数据过滤掉。好。再往下下一个呢,叫数据分析,还有舒仓建模工程师,那这个岗位呢是非常重要的,而且薪资待遇呢非常可观,这里面尤其这个舒仓建模是整个收藏公司的一个灵魂,如果你会建模的话,能把一个呃公司里的数据安排的妥妥当当,分析任何指标都非常轻松,那你的薪资待遇非常高。你像咱们之前,呃,作息出仓待遇非常高的,能达到这个将近70万年薪。啊,70万的,60万的,50万的都有啊,但当然这些啊,都得在一线大厂啊,现在这个滴滴啊,啊,美团呢啊,头条啊,啊,都有咱们的成序啊,他们的薪资待遇目前是在这个六七十万左右啊。好,那下面再往下看这个实时主实时组呢,就是像这个双11实时可视化那种大屏,我要计算这种快速的指标,那由谁来完成呢?由实时组的工程师来完成,那你完成指标的分析,同时呢,还需要性能调用,也就说这个实时的计算这个交易额,我可能需要两秒钟就给我计算出来。
05:11
那就要求你的计算性能啊,非常要高了。再往后呢,就是这个数据挖掘组啊,通常称为算法组,那比如说你这个智能推荐啊,抖音的推荐,电商的推荐那等等这些算法都由谁来完成啊,由算法工程师来帮我们完成。再来就是推荐系统对吧?诶刚才说到这个推荐系统,其中呢,它就是算法工程师的啊,一个某一个纸类的工程师,那就是用户画像,呃用户画像呢,这里面也是一个非常重要的工程师哈,他会对每一个用户进行打标签啊,比如说这个像宋树老师啊,他的标签呢,就是啊性别难对吧?啊爱好呢,这个存储某岛国资料啊,啊还有呢,是喜欢购买海狗人参丸,那这些呢都是一个标签,那以后我想促销海狗人参丸的时候,那我就要给这类人群哎,发送相关的一些广告啊,或者一些优惠券。
06:00
对吧,这就用户画像这个相关的一个功能哈,那后面呢,就是这个报表开发组啊,由这个前端程序员或者加到加格程序员,加入到我们整个大区部门当中,哎,负责给我们开发一些呃报表工具,呃,还有呢,负责数据的一个可视化展示等等,由这些成员来完成啊,这就是在企业当中对应的岗位职责啊,未来的一个从事的一个。嗯,职位哈。
我来说两句