from pyspark.sql.functions import udf, col, when
from pyspark.sql.types import ArrayType, StringType,如果某个id包含'a‘或'b’字符串,我会尝试标记该行。udf为其返回空值。我是udfs的新手。我必须在给定的udf中进行哪些更改才能获得所需的结果 df.filter(F.array_contains(F.col('items')
这可能是一个小众问题,但假设您有一个定义如下的udf:import pyspark.sql.types as stWithout调用pyspark.sql.DataFrame上的udf,并在resultWithout上使用dtype()函数将该函数的returnType存储在单独的returnType中</
我有一个数据帧,我想删除其中一列(字符串)中具有空值的所有行。我可以很容易地得到它的计数: df.filter(df.col_X.isNull()).count() 我尝试使用下面的命令删除它。它会执行,但计数仍为正数 df.filter(df.col_X.isNull()).drop() 我尝试了不同的尝试,但它返回'object is not callable‘错误。