大数据-MapReduce中的计数器

1. MapReduce 中的计数器

计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅 助诊断系统故障。如果需要将日志信息传输到 map 或 reduce 任务， 更好的方法通常是看 能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言，使用计数器 更为方便。除了因为获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的 发生次数要比分析一堆日志文件容易得多。

hadoop内置计数器列表

每次mapreduce执行完成之后，我们都会看到一些日志记录出来，其中最重要的一些日志 记录如下截图

在这里插入图片描述

所有的这些都是MapReduce的计数器的功能，既然MapReduce当中有计数器的功能，我 们如何实现自己的计数器？？？

需求：以上面排序以及序列化为案例，统计map接收到的数据记录条数

第一种方式

第一种方式定义计数器，通过context上下文对象可以获取我们的计数器，进行记录 通过context上下文对象，在map端使用计数器进行统计

在这里插入图片描述

运行程序之后就可以看到我们自定义的计数器在map阶段读取了七条数据

在这里插入图片描述

第二种方式 通过enum枚举类型来定义计数器 统计reduce端数据的输入的key有多少个，对应的value有多少个

在这里插入图片描述