Spark Scala:从另一个dataframe更新dataframe列的值
Spark Scala:从另一个dataframe更新dataframe列的值
提问于 2019-04-22 20:29:11
A=
+------------+------------+------+
| Name| Nationality|Salary|
+------------+------------+------+
| A. Abbas| Iraq| €2K|
| A. Abdallah| France| €1K|
|A. Abdennour| Tunisia| €31K|B=
+------------+------------+
| Name|Salary |
+------------+------------+
| A. Abbas|€4K |
| A. Abdallah|€1K |
|A. Abdennour|€33K |预期的updatedDF应如下所示：
+------------+------------+------+
| Name| Nationality|Salary|
+------------+------------+------+
| A. Abbas| Iraq| €4K|
| A. Abdallah| France| €1K|
|A. Abdennour| Tunisia| €33K|我尝试使用spark scala代码，如下所示：
updatedDF = a.join(b, Seq("Name"), "inner")
updatedDF.show()但是在执行join之后，我的输出中有重复项。如何在不重复的情况下合并两个数据帧？
回答 2
Stack Overflow用户
回答已采纳
发布于 2019-04-23 07:36:40
如果有重复，这意味着名称列不是唯一的。我建议尝试添加索引列以用于join，然后删除它：
// Add index now...
a = addColumnIndex(a).withColumn("index", monotonically_increasing_id)
println("1- a count: " + a.count())
// Add index now...
b = addColumnIndex(b).withColumn("index", monotonically_increasing_id)
println("b count: " + b.count())
def addColumnIndex(df: DataFrame) = {
spark.sqlContext.createDataFrame(
df.rdd.zipWithIndex.map {
case (row, index) => Row.fromSeq(row.toSeq :+ index)
},
StructType(df.schema.fields :+ StructField("index", LongType, false)))
}
ab = a.join(b, Seq("index", "Name"), "inner").drop(a.col("Salary")).drop(a.col("index"))
println("3- ab count: " + ab.count())Stack Overflow用户
发布于 2019-04-23 04:51:21
val a = sc.parallelize(List(("A. Abbas","Iraq","2K"),("A. Abdallah","France","1K"),("A. Abdennour","Tunisia","31K"))).toDF("Name","Nationality","Salary")
val b = sc.parallelize(List(("A. Abbas","4K"),("A. Abdallah","1K"),("A. Abdennour","33K"))).toDF("Name","Salary")
b.join(a,Seq("Name"),"inner").drop(a.col("Salary")).show
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55800706
复制相关文章
点击加载更多
相似问题
更新spark scala中的dataframe struct列值
Spark scala基于其他DataFrame修改DataFrame列
更新Dataframe架构读取Spark Scala
从Scala中的spark dataframe列中获取top值
Spark Scala dataframe中的列拆分
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
