API with caution;
在Spark3.0中,默认情况下不允许使用org.apache.spark.sql.functions.udf建议删除要自动切换到类型化Scala的返回类型参数,或者将spark.sql.legacy.allowUntypedScalaUDF设置为true以继续使用它。在SparkVersion2.4和更低版本中
我编写了一个函数,试图通过UDF将其应用于数据帧。它根据特定列中的值应用类别。该函数使用了前面在代码中定义的值。代码如下所示: val sc = new SparkContext()
val sqlContext = new org.apache.spark.sql.SQLContextif (value >= categories(0) && value < categories(1)) &q