企业中的大数据开发岗，到底做什么

在大数据的发展当中，对相关专业人才的需求是在持续增长的，包括大数据开发、数据分析挖掘等不同的数据处理环节，都形成了相应的岗位体系，大家各自负责不同的环节，共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业，了解大数据开发有哪些岗位？

首先，大数据开发通常指的是基于大数据产业链的一系列开发任务，涉及到大数据平台开发、大数据应用开发等，另外还包括数据采集产品的开发、数据整理产品的开发等等，如果向上延伸的话，部分大数据开发任务与人工智能开发任务也具有密切的联系。

大数据开发分两个层次：

大数据开发通常有两层含义，一层是进行大数据平台自身的开发，这属于研发级开发任务，通常称作大数据平台开发。

比如说大数据平台Hadoop就是采用Java语言开发的。整个大数据平台还涉及到一系列产品，包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等，开发和维护这些产品往往需要一个庞大的技术团队。

所以平台开发，通常是要行业当中颇具实力的头部企业去做。像Hadoop生态下的各种技术框架组件，托管在Apache旗下开源，除了最初的研发团队，也会有很多的Contributor在出力维护。

通常来说，从事大数据平台开发的程序员往往需要具备丰富的开发经验，同时具备较强的研发能力，能够搭建出一个稳定的分布式计算体系。

大数据开发的另一层含义是在大数据平台下进行大数据应用开发，比如在Hadoop、Spark平台下进行具体的大数据应用开发，应用级开发难度要相对小一些，但是往往需要与具体的场景进行紧密的联系，需要开发者具备一定的行业背景知识。

具体来说，大数据应用开发主要的任务有两个，其一是进行已有软件产品的大数据改造；其二是针对于具体的大数据需求进行全新的大数据应用开发。在企业当中，大数据落地应用的初期，大数据改造的开发任务会相对多一些，而随着需求的不断变化，新的大数据开发任务会逐渐增加。

目前行业当中常说的大数据开发，其实更多是指数据研发偏ETL方向；大数据平台开发，则是指开发各种简化数据任务编程的平台，国内常见的有阿里的Dataworks、网易的猛犸等。

事实上，在企业招聘当中，大数据开发的岗位Title还有更多，具体命名不同，在企业当中所规划出来的岗位职责也不同，作为技术开发者，需要结合岗位技能需求来不断提升自己的技术水平实力。