一个实操案例带你了解数据开发岗位

CDA数据分析师 出品

编辑：JYD

大家好，我是曹鑫老师，今天主要为大家讲解的是数据开发岗位。下面演示一个实际案例，帮助大家更好的了解这类岗位。

数据开发主要的内容包括编写数据加工处理程序，数据模型的设计与开发，下面我们通过简单的例子为您展示数据开发岗位的工作内容。

现有业务需求：假设有用户的评论数据，现需要统计评论中各个单词的频次，通过高频词汇挖掘用户的舆情、关注点是什么。由于数据量很大需要使用Hadoop的分布式文件系统(HDFS)存储数据、使用MapReduce分布式计算框架或Spark加工处理数据。

评论数据如下：

根据MapReduce分布式计算框架的使用要求，分别开发Map、Reduce代码：mapper.py

reducer.py

提交代码，这里我们编写一个简单的shell脚本，脚本内容如下：

运行结束，得到结果：

总结：数据量比较小的时候并不能体现出分布式计算的性能优势，但是实际业务中数据量一般都很大，所以使用大数据平台很必要。这只是数据开发各类场景中的一个很小的例子，优秀的数据开发应具备：

• 至少需掌握一种编程语言，
• 熟练使用SQL、
• 熟悉Linux命令，
• 会使用大数据平台
• 熟悉数据模型设计方法（3NF、维度建模等）

这就是数据开发岗位日常工作的一个案例。