我在Pyspark中有一个dataframe,我想在其上计算列中的空值和这些列的不同值,即非空值 这是我拥有的数据帧 trans_date transaction_id transaction_id1(*(F.sum(F.col(c).isNull().cast("int")).alias(c) for c in columns))\
.show() 这就是我所拥有的代码,但它似乎没有给我很好
我的输入spark数据帧是; Date Client Current 2020-10-27 1如果客户端的"Current column“完全为null,则Full_NULL_Count列应该在客户端的第一行写入null数字。我根据上面的数据分享了期望的输出; Date Client Current Full_NULL_Count
2020-10-26 1 NULL 1