我有一个特定的要求,其中我需要检查空的DataFrame。如果为空,则填充默认值。这是我尝试过的,但没有得到我想要的。def checkNotEmpty(df: org.apache.spark.sql.DataFrame, col: String):org.apache.spark.sql.DataFrame =)
val age = checkNotEmpty(w_feature_md.filter("age='22'"
好的,我有一些数据,我想过滤掉所有的空值和空值。因此,我使用简单的sql命令首先过滤掉空值。hiveContext.sql("select username from daten where username is not null").show()
我得到的是这样的东西。org.apache.spark.sql.DataFrame = [username: array<string>