我有一个数据帧,我想删除其中一列(字符串)中具有空值的所有行。我可以很容易地得到它的计数: df.filter(df.col_X.isNull()).count() 我尝试使用下面的命令删除它。它会执行,但计数仍为正数 df.filter(df.col_X.isNull()).drop() 我尝试了不同的尝试,但它返回'object is not callable‘错误。
我有一个pyspark dataframe,其中一列填充了列表,要么包含条目,要么只包含空列表。我想高效地过滤掉所有包含空列表的行。import pyspark.sql.functions as sf: java.lang.RuntimeException: Unsupported literal type class
也许我可以检