在pyspaek中组合两个rdd
在pyspark中，可以使用union、intersection、subtract和cartesian等方法来组合两个RDD（弹性分布式数据集）。
union方法：将两个RDD的元素合并为一个新的RDD，不去重。
rdd1 = sc.parallelize([1, 2, 3])
rdd2 = sc.parallelize([3, 4, 5])
combined_rdd = rdd1.union(rdd2)推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR），产品介绍链接：腾讯云EMR
intersection方法：返回两个RDD中共有的元素组成的新的RDD。
rdd1 = sc.parallelize([1, 2, 3])
rdd2 = sc.parallelize([3, 4, 5])
common_rdd = rdd1.intersection(rdd2)推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR），产品介绍链接：腾讯云EMR
subtract方法：返回在第一个RDD中出现但不在第二个RDD中出现的元素组成的新的RDD。
rdd1 = sc.parallelize([1, 2, 3])
rdd2 = sc.parallelize([3, 4, 5])
subtracted_rdd = rdd1.subtract(rdd2)推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR），产品介绍链接：腾讯云EMR
cartesian方法：返回两个RDD中所有可能的元素对组成的新的RDD。
rdd1 = sc.parallelize([1, 2])
rdd2 = sc.parallelize(['a', 'b'])
cartesian_rdd = rdd1.cartesian(rdd2)推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR），产品介绍链接：腾讯云EMR
这些方法可以帮助在pyspark中对两个RDD进行不同类型的组合操作，以满足不同的数据处理需求。
相关·内容
1回答
我在pyspark有两个rddrdd2=sc.parallelize(['c','d'])rdd3=rdd1.map(lambda x:x)+rdd2.map(lambd
浏览 13提问于2019-11-17得票数 0
回答已采纳
这个avgrdd是使用组合器计算的，我看到它计算结果是正确的。带有筛选器的行正在崩溃，并出现空指针异常。
浏览 2提问于2015-03-13得票数 1
2回答
我如何交叉组合(这是正确的描述方式吗？)两个RDDS？投入：rdd2 = [c, d]rdd3 = [(a, c), (a, d), (b, c), (b, d)]
我试过rdd3 = rdd1.flatMap(lambdax: rdd2.map(lambda y: (x, y))，它抱怨It appears that you are attempting to broadcast an RDD
浏览 2提问于2015-06-25得票数 2
回答已采纳
1回答
我正在尝试将边缘RDD和RDD(长、长、字符串)结合起来。我的边缘RDD看起来像：我想要组合的是名为tuple3的edgeList，如下所示：(2,3,Brother)val newEdges=myEdges ++ edgeList val newEdges
浏览 1提问于2018-10-16得票数 0
回答已采纳
2回答
我在不同的RDDs中有多个联合，如下所示：Spark会串行地生成联合( O(n))，还是会生成并行的计划也就是说，它会与rdd3 union rdd4并行执行rdd1 union rdd2，然后合并这两者的结果吗？
浏览 0提问于2015-09-24得票数 0
我有两个spark数据帧，结构如下。在使用sqlContext之前已经阅读过了。itens.columns (scala command) [1,1,item A,10] [1,3,item c,12]
[1,2,item b,50] [1,5,item c,12]
我想要以下基于组合键
浏览 6提问于2015-10-22得票数 1
2回答
嗨，我有两个RDD，我想合并成1。第一个RDD的格式是val predictions = ((user, mov), rate)我有另一个RDDval user_mov_rat=user_mov.map(x=>(x,&
浏览 0提问于2017-03-10得票数 0
我有两个RDDs。RDD1: ((String, String), Int)例如： ((B, X), 2) ((C, Y), 3)
(B, 7) ((B, X), 14) ((C
浏览 1提问于2015-04-26得票数 3
回答已采纳
我有两个RDDs，我想用pyspark把它们组合在一起。first_rdd = ['Mike', 'Kate', 'Robert']
result_rdd = [('Mike', 23), ('Kate
浏览 43提问于2020-12-10得票数 0
在将额外的映射对象添加到内存之前，我如何让它从内存中减少和删除映射？
我基本上是在做myrdd.map(f).reduce(r)。但是，f返回了一个非常大的对象，所以我需要运行缩减程序，然后在堆积太多对象之前从内存中删除映射的对象。我能以某种方式做到这一点吗？
浏览 0提问于2018-04-27得票数 0
在PySpark中，我有两个RDD，它们的结构是(key，list of list)：[(u'100', (u'200',
ou
浏览 0提问于2017-10-12得票数 0
我有一个spark流媒体应用程序，whichI正在处理一个FileStream..the流，它有两个主要操作，我需要在第一个操作完成时调用第二个操作动作1将一些信息更新到hbase...while Acton2中，从这些信息中读取，因此在每个批处理中，动作2都在action1之后运行
我想知道如何实现此功能
浏览 3提问于2016-11-21得票数 0
1回答
RDDs组合上的火花放电联合
、、、、
我有多个RDD，每个RDD由用户列表组成。如何才能以分布式的方式将这些RDD的每个组合统一起来呢？编辑sc.union(RDD</em
浏览 0提问于2018-08-27得票数 0
有没有办法在spark中连接两个不同RDD的数据集？
需求是-我使用scala创建了两个具有相同列名的中间RDDs，需要组合这两个RDDs的结果并缓存结果以访问UI。我如何在这里组合数据集？
浏览 2提问于2014-12-10得票数 35
回答已采纳
1回答
我有两个文本文件：color.txt和shades.txtcolor.txt2 | GREENshades.txt3 | 2 | dark green5 | 3 | sky blue
如何使用RDD连接这两个表。
浏览 0提问于2017-09-11得票数 1
回答已采纳
2回答
的格式各有两个RDD。
RDD2-> {string1,HashMap[{long c,object}]RDD->{string1,H
浏览 3提问于2015-03-26得票数 1
回答已采纳
1回答
我想使用累加器来计算RDD中几个对象参数的组合。例如，我有Obj的RDD，字段为a和b。这两个字段都是枚举，可能具有少数几个值之一。我不想为所有spark作业中的值的所有组合声明很多计数器，在这些作业中，我将具有相同的逻辑。是否有任何机制，允许在执行器上动态创建累加器或以另一种方式解决此问题？我搜索类似这样的东西：
rdd.foreach{ getAccumulator("${obj.a} - ${obj.
浏览 15提问于2021-03-02得票数 1
回答已采纳
1回答
我有两个RDDs。假设rdd1 = {'a'，'b'，'c'，'a'，'c'，'a'}和rdd2是具有集群赋值的KMeans的输出，如下所示的-> rdd2={0,0,1,1,1,0}。我想找出簇0和1中有多少个a和b，例如0有2a，所以类似于{0，a，2}等等，我有没有办法将这2 RDDS组合起来进行这样的操作？
谢谢你的帮助。
浏览 3提问于2017-02-04得票数 0
回答已采纳
假设我有两个RDDs和RDD2 has (key1, value)RDD1 has [1,1,3],[1,2,2],[2,2,5]
我想要结果
RDD3 to [1,1,4],[1,2,
浏览 0提问于2016-03-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
