前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >「原创」大数据岗位总结和相关书籍推荐

「原创」大数据岗位总结和相关书籍推荐

作者头像
数据社
发布2022-04-08 14:07:56
4140
发布2022-04-08 14:07:56
举报
文章被收录于专栏:数据社数据社

大家好,我是一哥。

最近有几个群友问我大数据怎么入门,作为一个零基础大数据入门学习者该看哪些书呢?我结合自己看过的书和了解到的比较好的数据,给大家分享一下。

01

大数据有哪些相关岗位

要学习大数据,首先我们得了解一下都有哪些大数据相关的岗位,正所谓“面向工作编程”嘛。现在的很多公司的大数据团队一般有三个小组:大数据平台组、数据仓库组以及数据分析组。

虽然大家都属于一个部门,但是三个小组的岗位要求却不一样。下面介绍一下三个小组的技术要求以及工作重点。

一、大数据平台组

负责大数据平台的设计开发,大数据平台的运维,大数据应用系统的开发。

大数据平台的设计开发:参与大数据平台建设,包括架构设计以及开发实现。要求深入大数据生态体系,对Hadoop,spark,hive等分布式框架有深刻理解,通读主要源码,有大数据项目构建经验。

大数据平台的运维:负责运维大数据平台解决方案的制定、设计和实施,跟进HDFS,Yarn,Spark,Kafka,HBase,ELK等生态组件的落地实践。要求精通Hadoop/MapReduce/Hive/Spark等原理以及常见运维问题解决,熟悉ELK框架等。

大数据应用系统的开发:结合应用需求,规划应用场景并开发实现,驱动业务发展。要求掌握常用的编程语言以及框架。

二、数据仓库组

负责数据仓库的设计、建模、ETL任务开发等工作。数仓在小组内一般都是一拨人搞,业务分析、数仓设计、任务开发等都要做。

数仓开发:负责把业务系统的数据抽取到数据仓库,然后根据分析应用需求,建设数仓模型,开发对应的ETL任务,形成多个主题的分析模型,供分析师和业务系统调用。以做一桌菜来打个比方,ETL就是收集做菜的原料,初步择菜、洗菜加工的过程。数仓是根据不同的口味偏好(主题域),将ETL产生的原料加工成不同口味的每道菜的过程,最后,根据自己要招待的客人需要,把不同的菜随时拼成各种档次的定制佳肴。

三、数据分析组

负责对海量业务数据进行分析挖掘, 满足研发和运营等部门的业务和决策需求。

数据分析师:对数据有良好的敏感性, 能够通过数据察觉到背后的业务变化和潜在问题,熟悉常用的数据分析方法, 具备相关项目经验, 熟悉数据分析原理以及方案。

算法工程师:深入理解数据挖掘、机器学习算法原理,具备优秀的数据建模能力,能够根据实际问题选择合适的模型和算法。能够结合业务需求,开发相应的算法模型。

数据产品经理:数据普通产品经理的技能之外,还要具备数据分析技能,并了解整个大数据应用建设的流程,一般需要有数据相关技术背景。

02

怎么入门这些岗位

了解了每个岗位的能力需求,那么给大家推荐一些每个岗位相关的书籍。

大数据平台:

《Hadoop权威指南》《Hive编程指南》《Hbase权威指南》《大数据日知录》《Flink技术内幕》,还有各个大数据技术栈的官网

数据仓库:

《数据仓库工具箱》《大数据之路》再找本SQL书籍,把SQL写溜儿了

数据分析:

《业务建模与数据挖掘》《概率论与数理统计》《统计学》《机器学习(西瓜书)》《机器学习实战》,把Python写溜儿了

当然,还有很多好的书籍,这里没有列出来,太多了大家也看不完,上面列的数据我大部分都看过,还都不错的。网上部门也有电子版,不过还是推荐大家购买正版书籍,深知码字不易!

03

总结

大数据的相关岗位目前还是很好找工作的,而且工资普遍比其他的同级IT工作工资要高。不过,对于刚入行的还是要了解一下相关岗位的工作内容,看哪个兴趣大一些就选哪个,毕竟按照996算的话,你一天50%的时间都在公司度过的。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-03-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据社 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 《数据仓库工具箱》《大数据之路》再找本SQL书籍,把SQL写溜儿了。
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档