前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop Reducer总是能复用为Combiner?

Hadoop Reducer总是能复用为Combiner?

作者头像
smartsi
发布2019-08-07 09:06:41
4410
发布2019-08-07 09:06:41
举报
文章被收录于专栏:SmartSi

Combiner函数是一个可选的中间函数,发生在Map阶段,Mapper执行完成后立即执行。使用Combiner有如下两个优势:

  • Combiner可以用来减少发送到Reducer的数据量,从而提高网络效率。
  • Combiner可以用于减少发送到Reducer的数据量,这将提高Reduce端的效率,因为每个reduce函数将处理相比于未使用Combiner之前更少的记录。

CombinerReducer结构相同,因为CombinerReducer都对Mapper的输出进行处理。这给了我们一个复用Reducer作为Combiner的好机会。但问题是,复用Reducer作为Combiner总是可行的吗?

1. Reducer作为Combiner的适用场景

假设我们正在编写一个MapReduce程序来计算股票数据集中每个股票代码的最大收盘价。Mapper将数据集中每个股票记录的股票代码作为key和收盘价作为value。Reducer然后将循环遍历股票代码对应的所有收盘价,并从收盘价列表中计算最高收盘价。假设Mapper 1处理股票代码为ABC的3个记录,收盘价分别为50,60和111。让我们假设Mapper 2处理股票代码为ABC的2个记录,收盘价分别为100和31。那么Reducer将收到股票代码ABC五个收盘价—50,60,111,100和31。Reducer的工作非常简单,它将简单地循环遍历所有收盘价,并将计算最高收盘价为111。

我们可以在每个Mapper之后使用相同的Reducer作为CombinerMapper 1上的Combiner将处理3个收盘价格–50,60和111,并且仅输出111,因为它是3个收盘价的最大值。Mapper 2上的Combiner将处理2个收盘价格–100和31,并且仅输出100,因为它是2个收盘价的最大值。现在使用Combiner之后,Reducer仅处理股票代码ABC的2个收盘价(原先需要处理5个收盘价),即来自Mapper 1的111和来自Mapper 2的100,并且将从这两个值中计算出最大收盘价格为111。

正如我们看到的,使用Combiner情况下Reducer输出与没有使用Combiner的输出结果是相同的,因此在这种情况下复用Reducer作为Combiner是没有问题。

2. Reducer作为Combiner的不适用场景

假设我们正在编写一个MapReduce程序来计算股票数据集中每个股票代码的平均交易量(average volume for each symbol)。Mapper将数据集中每个股票记录的股票代码作为key和交易量(volume)作为value。Reducer然后将循环遍历股票代码对应的所有交易量,并从交易量列表中计算出平均交易量(average volume from the list of volumes for that symbol)。假设Mapper 1处理股票代码为ABC的3个记录,收盘价分别为50,60和111。让我们假设Mapper 2处理股票代码为ABC的2个记录,收盘价分别为100和31。那么Reducer将收到股票代码ABC五个收盘价—50,60,111,100和31。Reducer的工作非常简单,它将简单地循环遍历所有交易量,并将计算出平均交易量为70.4。permalink: hadoop-setup-and-start

代码语言:javascript
复制
50 + 60 + 111 + 100 + 31 /  5 = 352 / 5 = 70.4

让我们看看如果我们在每个Mapper之后复用Reducer作为Combiner会发生什么。Mapper 1上的Combiner将处理3个交易量–50,60和111,并计算出三个交易量的平均交易量为73.66。 Mapper 2上的Combiner将处理2个交易量–100和31,并计算出两个交易量的平均交易量为65.5。那么在复用Reducer作为Combiner的情况下,Reducer仅处理股票代码ABC的2个平均交易量,来自Mapper1的73.66和来自Mapper2的65.5,并计算股票代码ABC最终的平均交易量为69.58。

代码语言:javascript
复制
73.66 + 65.5 /2  = 69.58

这与我们不复用Reducer作为Combiner得出的结果不一样,因此复用Reducer作为Combiner得出平均交易量是不正确的。

所以我们可以看到Reducer不能总是被用于Combiner。所以,当你决定复用Reducer作为Combiner的时候,你需要问自己这样一个问题:使用Combiner与不使用Combiner的输出结果是否一样?

3. 区别

Combiner需要实现Reducer接口。Combiner只能用于特定情况。

  • Reducer不同,Combiner有一个约束,Combiner输入/输出键和值类型必须与Mapper的输出键和值类型相匹配。而Reducer只是输入键和值类型与Mapper的输出键和值类型相匹配。
  • Combiner只能用于满足交换律(a.b = b.a)和结合律(a.(b.c)= (a.b).c)的情况。这也意味着Combiner可能只能用于键和值的一个子集或者可能不能使用。
  • Reducer可以从多个Mapper获取数据。Combiner只能从一个Mapper获取其输入。

原文:http://hadoopinrealworld.com/can-reducer-always-be-reused-for-combiner/

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-12-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. Reducer作为Combiner的适用场景
  • 2. Reducer作为Combiner的不适用场景
  • 3. 区别
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档