腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
合并
值
key
:
具有
公共
键
的
value
RDD
python
、
scala
、
apache-spark
、
rdd
我是使用python
的
新手,所以如果这个问题听起来很基本,请原谅。如果我有一个
RDD
: [(((1, 0), 0.0), (2, 0)), (((2, 0), -0.0), (1, 0)), (((3, 0), -0.0), (1, 0)), (((3, 0), -0.0), (2, 0))] 我想
合并
具有
公用
键
的
值
。所以基本上我
的
输出应该
浏览 13
提问于2019-05-29
得票数 0
回答已采纳
1
回答
在Spark中加入两个
rdd
,其中第一个
rdd
的
值
是第二个
rdd
的
密钥
pyspark
、
left-join
、
rdd
有两个
rdd
_1,第一个是(
键
、
值
)对rdds第二个也是(
键
,
值
)对
rdd
_2 (
key
2,
value
3), (
key
3,
value
4)...我想加入
rdd
1和
rdd
2,
rdd
_1
的
value
1 &
value
浏览 4
提问于2017-10-16
得票数 0
1
回答
rdd
上
具有
累加器
的
循环
scala
、
apache-spark
、
spark-streaming
我想循环n次,其中n是同一
rdd
上
的
累加器val
key
= keyAcm.
value
.toIntval combined =
rdd
.filter(k => (k._1 ==
key
) || (k._1 ==
key
+ 1)).map(x => (
key
浏览 1
提问于2018-09-12
得票数 0
2
回答
在Spark Scala中
合并
两个RDDs
scala
、
apache-spark
rdd
1 =(字符串,字符串)
key
2,
value
12
rdd
2 =(字符串,字符串)
key
3,
value
23
key
4,
value
24 我需要用来自
rdd
1和
rdd
2
的
合并
行形成另一
浏览 0
提问于2015-07-28
得票数 3
回答已采纳
2
回答
将成对
RDD
中
的
值
相减
scala
、
apache-spark
我是Scala和Spark
的
新手。有两个RDDs,比如
RDD
_B= (keyA,3),(KeyB,7) 如何计算:
RDD
_A-
RDD
_B,这样我得到(keyA,2),(KeyB,3
浏览 32
提问于2020-05-18
得票数 0
1
回答
combineByKey在火花放电中
的
应用
apache-spark
、
pyspark
我从哈佛大学得到了一个问题:我们有这样
的
样本数据--数据= ("B",2),("A",1),("A",4),("B",2),("B",3) combineByKey代码是这样
的
-->>>
rdd
2 =
rdd
.combineByKey >>>
rdd
2 =
rdd
浏览 2
提问于2019-12-07
得票数 1
回答已采纳
3
回答
如何通过
键
来区分火花
rdd
?
scala
、
apache-spark
、
transformation
、
rdd
现在,我有一个
RDD
,
RDD
中
的
记录如下:
key
1
value
2
key
3
value
4我希望获得
具有
不同密钥
的
RDD
记录,如下所示:
key
2
浏览 3
提问于2016-05-23
得票数 0
回答已采纳
1
回答
星星之火:
RDD
对重复
键
的
外部连接优化
apache-spark
、
join
、
rdd
场景 要将
rdd</
浏览 0
提问于2018-11-15
得票数 3
回答已采纳
1
回答
在RDDs上点燃左外接和重复
键
database
、
scala
、
apache-spark
、
rdd
我有两个
RDD
(
键
,
值
)。我
的
第二个
RDD
比我
的
第一个
RDD
短。我想将我
的
第一个
RDD
的
每个
值
与第二个
RDD
中
的
相应
值
关联起来,这是关于
键
的
。val (
rdd
1:
RDD
[(
key
,A)]) val (
rdd
2:
RDD
浏览 2
提问于2021-03-09
得票数 0
回答已采纳
0
回答
如果存储在
键
中
的
值
匹配,如何
合并
Spark中
的
两个
RDD
java
、
scala
、
apache-spark
、
bigdata
假设我有2个RDDs当且仅当存储在
rdd
1中
的
key
1中<e
浏览 0
提问于2016-07-07
得票数 1
1
回答
Spark:如何按键比较两个
rdd
apache-spark
、
pyspark
我想通过它们
的
公共
密钥来比较两个
rdd
。因此,我首先使用
key
过滤
rdd
,然后比较子
rdd
。例如, def compare(
rdd
1,
rdd
2): pair_
rdd
=
rdd</
浏览 36
提问于2020-07-02
得票数 0
3
回答
谁能对火花中
的
“组合
键
”给出一个清晰
的
解释?
python
、
apache-spark
第二,我阅读了combineByKey
的
函数描述,但我对算法流程感到困惑。
浏览 5
提问于2015-11-26
得票数 10
回答已采纳
1
回答
Map Reducing (
Key
,
Value
)元组,其中
Value
是Spark中
的
字典
python
、
apache-spark
、
dictionary
、
pyspark
、
mapreduce
spark思维方式
的
新手。我
的
映射器返回(
key
,dict)形式
的
元组:[('abc', {'min': 4}), ('def', {'min并需要简化为: [('abc', {'min': 6}), ('def', {'
浏览 2
提问于2021-09-23
得票数 0
1
回答
如何在PySpark中得到两个RDDs之间
的
区别?
apache-spark
、
mapreduce
、
pyspark
、
apache-spark-sql
、
rdd
我正在尝试建立一个队列研究来跟踪应用程序中
的
用户行为,我想问你是否知道我如何从
RDD
1中排除一个元素。
rdd
1 = sc.parallelize([("a", "xoxo"), ("b", 4)]) 例如,要在
rdd
1和
rdd
2
浏览 1
提问于2016-11-17
得票数 5
回答已采纳
1
回答
使用联合而不是加入apache更有效,还是不重要?
python
、
performance
、
join
、
mapreduce
、
apache-spark
最近,我在一个apache星火集群上运行了一个作业,我打算在两个
rdd
上做一个内部连接。不过,我当时认为,对于这种计算,我可以使用union、reduceByKey和filter来避免连接。但是,这基本上就是join已经在做
的
事情吗?假设
rdd
中有
具有
以下结构
的
对象: leftRDD =
rdd
1.map(lambda y: (y['
key</e
浏览 3
提问于2015-05-30
得票数 3
回答已采纳
1
回答
Scala中
的
数组[(String,Set[String])]转换
scala
、
apache-spark
、
apache-spark-sql
我有一个数组类型[
RDD
[(String,SetString)]
的
RDD
,其中每个
RDD
都是
键
和
值
的
元组。
键
是字符串,
值
是SetString,我想用相同
的
键
合并
/
合并
集合。
RDD
["A",Set("1","2")]
RDD
["A",Se
浏览 1
提问于2016-03-14
得票数 0
回答已采纳
1
回答
如何用一个数组列来模拟pySpark数据?
python
、
apache-spark
、
pyspark
我有一个这样
的
火花数据模型:| dbn| boro|total_students|543|[Bx1, Bx11, Bx13,...|如何使sBus中每个元素
的
每行都被复制,而sBus将是一个普通
的
字符串列?所以结果会是这样
的
: +------+--------+--------------+---
浏览 4
提问于2016-04-21
得票数 3
回答已采纳
1
回答
在
RDD
中
具有
公共
密钥
的
筛选(
key
:
value
)对
的
代码
scala
、
apache-spark
、
rdd
我有一个
RDD
,如下: (((1, 2), 1.0), (3, 4)), (((2, 3),中筛选出另一个
RDD
,它只包含那些
键
:
具有
公共
键
的
值
对。这就是我
的
输出
RDD
应该是: ((1,2),1.0), (3,4)), ((2,3),1.0), (1,2
浏览 0
提问于2019-05-28
得票数 1
2
回答
合并
同一
键
下
的
数组
json
、
jq
我有两个包含对象
的
文件。每个对象
的
字段都是对象数组。我想按每个
键
合并
对象数组。我尝试通过jq -s '.[0] * .[1] | to_entries[].
key
' file1.json file2.json获取所有密钥
的
列表。一旦你捕获了对象数组,我不确定你将如何匹配从.1到
的
键
。
浏览 9
提问于2019-11-09
得票数 2
回答已采纳
1
回答
选择
RDD
1
的
特定元素
scala
、
apache-spark
、
rdd
我被一个特定
的
scala-spark语法卡住了,我希望您能引导我朝着正确
的
方向前进。如果
RDD
1是数组类型(( Float,Float,Float),Long),
RDD
2.collect =数组(1,3,5...) 从索引出现在
RDD
2中
的
RDD
1中提取值
的</
浏览 0
提问于2016-11-01
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark实战(5)_Spark Core核心编程
技术分享:大数据知识体系
大数据技术,Spark之RDD,RDD的两种算子介绍
而人工智能是否可以成为科技界的先驱呢?
Spark核心编程RDD分区器以及文件读取与保存
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券