Apache Spark，添加一个"CASE WHEN ... ELSE ...“将计算列复制到现有DataFrame
Apache Spark，添加一个"CASE WHEN ... ELSE ...“将计算列复制到现有DataFrame
提问于 2015-06-11 22:20:41
我正在尝试添加一个"CASE WHEN ... ELSE ...“使用Scala将计算列添加到现有的DataFrame。正在启动数据帧：
color
Red
Green
Blue所需的数据帧(SQL语法: CASE WHEN color == Green THEN 1 ELSE 0 END AS bool)：
color bool
Red 0
Green 1
Blue 0我应该如何实现这个逻辑？
回答 4
Stack Overflow用户
回答已采纳
发布于 2015-06-11 23:18:47
在即将到来的SPARK 1.4.0版本中(应该在接下来的几天内发布)。您可以使用when/otherwise语法：
// Create the dataframe
val df = Seq("Red", "Green", "Blue").map(Tuple1.apply).toDF("color")
// Use when/otherwise syntax
val df1 = df.withColumn("Green_Ind", when($"color" === "Green", 1).otherwise(0))如果您使用的是SPARK 1.3.0，则可以选择使用UDF：
// Define the UDF
val isGreen = udf((color: String) => {
if (color == "Green") 1
else 0
})
val df2 = df.withColumn("Green_Ind", isGreen($"color"))Stack Overflow用户
发布于 2015-10-28 20:46:07
在Spark 1.5.0中:您还可以使用SQL语法expr函数
val df3 = df.withColumn("Green_Ind", expr("case when color = 'green' then 1 else 0 end"))或简单的spark-sql
df.registerTempTable("data")
val df4 = sql(""" select *, case when color = 'green' then 1 else 0 end as Green_ind from data """)Stack Overflow用户
发布于 2017-02-26 04:10:44
我发现了这个：
https://issues.apache.org/jira/browse/SPARK-3813
在spark 2.1.0上为我工作：
import sqlContext._
val rdd = sc.parallelize((1 to 100).map(i => Record(i, s"val_$i")))
rdd.registerTempTable("records")
println("Result of SELECT *:")
sql("SELECT case key when '93' then 'ravi' else key end FROM records").collect()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/30783517
复制相关文章
相似问题
腾讯云开发者
