前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Spark得到两个RDD值集合有包含关系的映射

Spark得到两个RDD值集合有包含关系的映射

作者头像
用户1148830
发布2021-09-07 15:21:06
1.1K0
发布2021-09-07 15:21:06
举报
文章被收录于专栏:来自地球男人的部落格

问题场景

有两个RDD的数据集A和B(暂且分别称为新、老RDD)以及一组关于这两个RDD数据的映射关系,如下图所示:

以及A和B的各元素映射关系的RDD,如下图所示:

上述映射关系,代表元素ac同义,若为url,则表示指向同一个页面,元素bd同理。

以第一列所组成的元素作为关键字,第二列作为值的集合。现要求映射对,使得在该映射关系下,B的值集合可以覆盖A的值几何的元素。如上结果应该为:(b, d)。因为A中以b为键的集合为B中以d为键的值集合的子集。 受到单机编程的思维定势,使用HashMap实现,虽然可以运行,但是太慢啦啦,所以改用另一种思路,可以充分利用分布式的优点。

解决方案

代码语言:javascript
复制
val data = sc.textFile("/user/wuzhongqiang/clean_data/baidubaike_source.20180801/").cache()
//1.以左边的为key,进行分组,统计每一个key所对应的值集合
val groupData = data.map(item => {
    val key = item._1 
    val value = item._1
    (key, value)
}).groupByKey

//2. 读取链接映射文件至map
//(AKey, BKey) 
val projectionMap = sc.textFile("hdfs://projection").cache()
// (AKey, BKey) 
val aData = projectionMap.map(item => (item._1, item._2))
// (BKey, AKey) 
val bData = projectionMap.map(item => (item._2, item._1))
// (AKey, (BKey, AValueSet)) 
val aKeyJoinData = aData.join(groupData)
// (BKey, (AKey, BValueSet)) 
var bKeyJoinData = bData.join(groupData)
// 交换新老键的位置,为后面的join做准备 (AKey, (BKey, BValueSet) )
bKeyJoinData = nbKeyJoinData.map(item => {(item._2._1, (item._1, item._2._2))})
//结果形式为(AKey, ((BKey, AValueSet), (BKey, BValueSet)))
val aBData = aKeyJoinData.join(bKeyJoinData)
aKeyJoinData.take(1).foreach(println)
// oldUrl -> newUrl
val resultMap = aBData.map(item => {
    val aValueSet = item._2._1._2.to[Set]
    val bValueAttrSet = item._2._2._2.to[Set]
    val subtractSet = aValueSet -- bValueAttrSet
    //若新的URL属性可以完全覆盖旧的url属性, 即 oldAttrSet与newAttrSet的差集为空
    if(subtractSet.isEmpty)
    	(item._1, item._2._1._1)
    else ("", "")
}).filter(_._1 != "")
resultMap.take(1).foreach(println)
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018/10/22 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 问题场景
  • 解决方案
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档