如何注册自定义项在SQL和DataFrame中使用？
如何注册自定义项在SQL和DataFrame中使用？
提问于 2017-04-19 08:25:38
据我所知，为了做到这一点，你必须
对于使用SQLContext function
- register
- 的函数，使用
SQLContextfunction
- register SQL使
SQLContext作为简单的函数
spark.sqlContext.udf.register("myUDF"，myFunc)
- 将其转换为
UserDefinedFunction
DataFrame
def myUDF = udf(myFunc)
有没有办法将这一步合并到一个步骤中，使udf对这两个步骤都可用？此外，对于存在用于DataFrame但不用于SQL的函数的情况，如何在不再次复制代码的情况下注册它？
回答 2
Stack Overflow用户
回答已采纳
发布于 2017-04-19 08:31:35
带有scala.FunctionN的UDFRegistration.register变体返回一个UserDefinedFunction，这样您就可以在单个步骤中注册SQL函数并创建DSL友好的UDF：
val timesTwoUDF = spark.udf.register("timesTwo", (x: Int) => x * 2)
spark.sql("SELECT timesTwo(1)").show+---------------+
|UDF:timesTwo(1)|
+---------------+
| 2|
+---------------+spark.range(1, 2).toDF("x").select(timesTwoUDF($"x")).show+------+
|UDF(x)|
+------+
| 2|
+------+Stack Overflow用户
发布于 2017-11-22 09:56:12
您可以使用以下代码，并仍然将其应用于dataframe
spark.sqlContext.udf.register("myUDF", myFunc)在对数据帧转换调用selectExpr时使用它。
df.selectExpr("myUDF(col1) as modified_col1")页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/43484269
复制相关文章
相似问题