Scala/RDD :如何将元组的值与相同元组中的值列表进行比较
Scala/RDD :如何将元组的值与相同元组中的值列表进行比较
提问于 2018-08-17 04:26:43
我有如下数据
val t=((1,List(1,2,3,4)),(2,List(1,2,3,4)),(3,List(1,2,3,4)),(4,List(1,2,3,4)))我想要的输出如下：
1--1
2--2
3--3
4--4有没有人可以使用scala或spark core来帮助我。
回答 2
Stack Overflow用户
回答已采纳
发布于 2018-08-17 04:49:18
使用RDD的另一种方式：
输入：
(1,List(1, 2, 3, 4))
(2,List(1, 2, 3, 4))
(3,List(1, 2, 3, 4))
(4,List(1, 2, 3, 4))
t.map(x => s"""${x._1} -- ${if(x._2.contains(x._1)) x._1}""").collect.foreach(println) 输出：
1 -- 1
2 -- 2
3 -- 3
4 -- 4 Stack Overflow用户
发布于 2018-08-17 04:43:15
试试这个：
val spark = SparkSession.builder()
.appName("app_name")
.master("local[2]")
.getOrCreate()
import spark.implicits._
val df = spark.sparkContext.parallelize(Seq((1,List(1,2,3,4)),(2,List(1,2,3,4)),(3,List(1,2,3,4)),(4,List(1,2,3,4))))
df.map{
case (id, list) => s"${id}--${list(id - 1)}"
}.toDF().show()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51884856
复制相关文章
相似问题
腾讯云开发者
