使用pyspark比较两个大型数据帧

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

spark = SparkSession.builder.appName("DataFrameComparison").getOrCreate()

df1 = spark.read.csv("path_to_file1.csv", header=True, inferSchema=True)
df2 = spark.read.csv("path_to_file2.csv", header=True, inferSchema=True)

# 比较两个数据帧的列名是否一致
columns_match = (df1.columns == df2.columns)

# 比较两个数据帧的行数是否一致
rows_match = (df1.count() == df2.count())

# 比较两个数据帧的数据内容是否一致
data_match = (df1.subtract(df2).count() == 0) and (df2.subtract(df1).count() == 0)

if columns_match and rows_match and data_match:
    print("两个数据帧完全一致")
else:
    if not columns_match:
        print("两个数据帧的列名不一致")
    if not rows_match:
        print("两个数据帧的行数不一致")
    if not data_match:
        print("两个数据帧的数据内容不一致")