如何在PySpark中定义用户定义的聚合函数？
如何在PySpark中定义用户定义的聚合函数？
提问于 2022-09-22 15:36:22
我想要使一个用户定义的聚合函数在吡火花。我为Scala找到了一些文档，并希望在Python中实现类似的功能。
更确切地说，假设我已经实现了这样一个函数：
def process_data(df: pyspark.sql.DataFrame) -> bytes:
... # do something very complicated here现在我希望能做这样的事情：
source_df.groupBy("Foo_ID").agg(UDAF(process_data))现在的问题是-我应该用什么来代替UDAF
回答 1
Stack Overflow用户
发布于 2022-09-23 15:10:05
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/73817326
复制相关文章
相似问题
腾讯云开发者
