如何合并pyspark dataframe并删除空值？

要合并 PySpark DataFrame 并删除空值，你可以按照以下步骤操作：

基础概念

PySpark 是 Apache Spark 的 Python API，用于大规模数据处理。DataFrame 是 PySpark 中的一种分布式数据集合，类似于关系型数据库中的表。

合并 DataFrame

你可以使用 union 或 unionByName 方法来合并两个 DataFrame。union 方法要求两个 DataFrame 的结构完全相同，而 unionByName 方法则允许列名不同，但数据类型必须兼容。

删除空值

你可以使用 dropna 方法来删除包含空值的行或列。dropna 方法有多个参数，例如 how（指定如何识别空值，默认为 'any'，即只要一行中有空值就删除该行；'all' 表示只有全为空值的行才删除）、thresh（指定每行非空值的数量）等。

示例代码

以下是一个示例代码，展示如何合并两个 DataFrame 并删除包含空值的行：

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder.appName("MergeAndDropNA").getOrCreate()

# 创建示例 DataFrame
data1 = [("Alice", 34), ("Bob", None), ("Charlie", 28)]
data2 = [("David", 45), ("Eve", 32), (None, 29)]

columns = ["Name", "Age"]

df1 = spark.createDataFrame(data1, columns)
df2 = spark.createDataFrame(data2, columns)

# 合并 DataFrame
merged_df = df1.union(df2)

# 删除包含空值的行
cleaned_df = merged_df.dropna()

# 显示结果
cleaned_df.show()

应用场景

这种操作在数据清洗和预处理阶段非常常见，特别是在处理来自不同数据源的数据时。合并多个 DataFrame 并删除空值可以帮助你获得一个干净、一致的数据集，以便进行进一步的分析和建模。

参考链接

• PySpark Documentation - DataFrame
• PySpark Documentation - dropna

通过上述步骤和代码示例，你可以有效地合并 PySpark DataFrame 并删除空值。