前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据-MapReduce中的计数器

大数据-MapReduce中的计数器

作者头像
cwl_java
发布2019-12-26 15:46:49
1.1K0
发布2019-12-26 15:46:49
举报
文章被收录于专栏:cwl_Java

1. MapReduce 中的计数器

计数器是收集作业统计信息的有效手段之一,用于质量控制或应用级统计。计数器还可辅 助诊断系统故障。如果需要将日志信息传输到 map 或 reduce 任务, 更好的方法通常是看 能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言,使用计数器 更为方便。除了因为获取计数器值比输出日志更方便,还有根据计数器值统计特定事件的 发生次数要比分析一堆日志文件容易得多。

hadoop内置计数器列表

MapReduce任务 计数器

org.apache.hadoop.mapreduce.TaskCounter

文件系统计数器

org.apache.hadoop.mapreduce.FileSystemCounter

FileInputFormat 计数器

org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter

FileOutputFormat 计数器

org.apache.hadoop.mapreduce.lib.output.FileOutputFormatCounter

作业计数器

org.apache.hadoop.mapreduce.JobCounter

每次mapreduce执行完成之后,我们都会看到一些日志记录出来,其中最重要的一些日志 记录如下截图

在这里插入图片描述
在这里插入图片描述

所有的这些都是MapReduce的计数器的功能,既然MapReduce当中有计数器的功能,我 们如何实现自己的计数器???

需求:以上面排序以及序列化为案例,统计map接收到的数据记录条数

第一种方式

第一种方式定义计数器,通过context上下文对象可以获取我们的计数器,进行记录 通过context上下文对象,在map端使用计数器进行统计

在这里插入图片描述
在这里插入图片描述

运行程序之后就可以看到我们自定义的计数器在map阶段读取了七条数据

在这里插入图片描述
在这里插入图片描述

第二种方式 通过enum枚举类型来定义计数器 统计reduce端数据的输入的key有多少个,对应的value有多少个

在这里插入图片描述
在这里插入图片描述
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. MapReduce 中的计数器
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档