Hadoop MapReduce:两个值作为Mapper-Reducer中的关键字
Hadoop MapReduce:两个值作为Mapper-Reducer中的关键字
提问于 2012-06-05 15:52:11
如何构建包含两个组件的密钥？这样做的原因是我有一个无向图。如果A和B通过通信关联(方向无关)，则在两个节点A和B之间有一条边。此通信有一个数值参数。因此，我想要实现的是将A和B组合在一起作为一个集合的关键字，以便A到B和B到A的通信可以被认为是等价的，并被相加以获得统计数据
可以这样说：
A B 5
B A 10
那么关键字在语义上应该是"A或B在一起“，这样包含A和B作为关键字的集合应该具有值5+10=15。
wordcount示例将特定单词作为关键字。在我的例子中，我希望有一个包含两个组件的集合作为键。在map和reduce阶段，只要A到B或B到A都满足，我就会求和。
谢谢！
回答 2
Stack Overflow用户
回答已采纳
发布于 2012-06-06 22:48:47
除了大卫的(正确)答案:如果你的问题与图形有关，那么也可以看看http://incubator.apache.org/giraph/。
Stack Overflow用户
发布于 2012-06-05 16:32:18
您需要自定义key，并具有自己的比较规则。您可以通过在包含图形链接信息的类上实现WritableComparable来实现它。这是示例/解释：https://web.archive.org/web/20130729080313/http://developer.yahoo.com/hadoop/tutorial/module5.html
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/10893549
复制相关文章
相似问题
腾讯云开发者
