我正在尝试根据列a和b筛选dataset中存在的数据。但是,声明,
dataset.filter(col("a") !== col("b")); //return 0但是肯定有一些值满足这个条件。
我也尝试过=!=和.notEquals(),但没有成功。
发布于 2021-07-07 15:28:23
更改为!= -将解决此问题
例如:
df = df.withColumn("cond_col", F.when(F.col("Primary_Email_Address") != F.col("Alternate_Email_Address"), True).otherwise(False))
+---------------------+-----------------------+--------+-----------------------------+
|Primary_Email_Address|Alternate_Email_Address|cond_col|merged_email                 |
+---------------------+-----------------------+--------+-----------------------------+
|navg@gmail.com       |navg@gmail.com         |false   |navg@gmail.com|navg@gmail.com|
|ggg@gmail.com        |nnnn@gmail.com         |true    |null                         |
+---------------------+-----------------------+--------+-----------------------------+https://stackoverflow.com/questions/68281746
复制相似问题