val inputfile = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true")
.option("inferSchema", "true")
.option("delimiter", "\t")
.load("data")
inputfile: org.apache.spark.sql.DataFrame = [a: string, b: bigint, c: boolean]
val outputfile = inputfile.groupBy($"a",$"b").max($"c")
上面的代码失败了,因为c
是一个布尔变量,而聚合不能应用于布尔值。Spark中是否有一个函数可以将Spark数据帧的整列的true
值转换为1
,并将false
转换为0
。
我尝试了以下方法(来源:How to change column types in Spark SQL's DataFrame? )
val inputfile = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true")
.option("inferSchema", "true")
.option("delimiter", "\t")
.load("data")
val tempfile =inputfile.select("a","b","c").withColumn("c",toInt(inputfile("c")))
val outputfile = tempfile.groupBy($"a",$"b").max($"c")
下面的问题:Casting a new derived column in a DataFrame from boolean to integer回答了PySpark的问题,但我想要一个专门针对Scala的函数。
感谢任何形式的帮助。
发布于 2017-11-01 02:54:52
implicit def bool2int(b:Boolean) = if (b) 1 else 0
scala> false:Int
res4: Int = 0
scala> true:Int
res5: Int = 1
scala> val b=true
b: Boolean = true
scala> 2*b+1
res2: Int = 3
使用上面的函数并注册为UDF
val bool2int_udf = udf(bool2int _)
val tempfile =inputfile.select("a","b","c").withColumn("c",bool2int_UDF($("c")))
发布于 2018-07-26 04:49:56
您不需要使用udf来做到这一点。如果要将布尔值转换为int
,可以将列的类型转换为int
val df2 = df1
.withColumn("boolAsInt",$"bool".cast("Int")
发布于 2017-11-03 02:41:36
下面的代码对我很有效。@Achyuth的答案提供了部分函数。然后,从这个问题中获得想法:我能够使用UDF
将Achyuth答案中的函数应用于数据框的完整列。下面是完整的代码。
implicit def bool2int(b:Boolean) = if (b) 1 else 0
val bool2int_udf = udf(bool2int _)
val inputfile = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true")
.option("inferSchema", "true")
.option("delimiter", "\t")
.load("data")
val tempfile = inputfile.select("a","b","c").withColumn("c",bool2int_udf($"c"))
val outputfile = tempfile.groupBy($"a",$"b").max($"c")
https://stackoverflow.com/questions/47042278
复制相似问题