大数据工程师的日常工作都包含哪些内容

大数据工程师是一个比较宽泛的叫法,正常情况下会细分为大数据开发岗位(包含平台开发、行业应用开发)、大数据运维、大数据分析等岗位,不同岗位的任务具有一定的差异。大数据工程师与云计算工程师之间的合作也比较多,很多团队也会让云计算工程师完成一部分大数据工程师的工作任务,二者之间的工作边界也比较模糊,比如很多存储方面的工作云计算工程师和大数据工程师都可以完成。

当前随着云计算、大数据平台逐渐开始落地应用,大数据开发工程师(行业领域)的岗位需求正在不断增加,目前也有不少程序员(Java方向)也会转向大数据开发岗位,这些岗位的岗位附加值还是比较高的。这些开发岗位的日常工作基本上就是完成代码的编写,只不过需要与大数据平台进行交互,需要调用大数据平台的各种服务来完成功能实现,总体上的难度并不算大,但是需要具有一定的行业经验。

当前大数据平台开发岗位的附加值还是比较高的,大数据平台开发岗位往往集中在大型互联网企业,随着云计算逐渐从IaaS向PaaS过渡,大数据平台开发也会基于行业特点来开发针对性比较强的PaaS平台,这是整合行业资源并搭建技术生态的一个关键。搭建PaaS平台不仅需要掌握大数据知识,同时还需要掌握云计算知识,实际上大数据和云计算本身就有比较紧密的联系,二者在技术体系结构上都是以分布式存储和分布式计算为基础,只不过关注点不同而已。

大数据运维工程师以搭建大数据平台为主,虽然这部分岗位的门槛相对比较低,但是需要学习的内容还是比较多的,而且内容也比较杂,网络知识、数据库管理知识、操作系统(Linux)知识、大数据平台(含开源和商用平台)知识都需要掌握一些,对于实践操作的要求会比较高。

最后,当前大数据工程师往往并不包含专业的数据分析岗位,一般数据分析岗位都会单独列出来,这部分岗位涉及到算法岗、开发岗(实现)和数据呈现岗等,数据分析岗位对于从业者的数学基础要求比较高,同时还需要掌握大量的数据分析工具,当然也离不开Python、Sql等知识。

我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200814A0ASIV00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券