如何使用Spark SQL在循环时将迭代的行记录保存到新的数据框或列表中？

在使用Spark SQL进行循环时，可以通过以下步骤将迭代的行记录保存到新的数据框或列表中：

导入必要的库和模块：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

创建SparkSession对象：

spark = SparkSession.builder.appName("SparkSQLExample").getOrCreate()

加载原始数据为一个数据框：

df = spark.read.format("csv").option("header", "true").load("path_to_file.csv")

创建一个空的数据框或列表来保存迭代的行记录：

new_df = spark.createDataFrame([], df.schema)  # 创建空的数据框
new_list = []  # 创建空的列表

循环遍历数据框的每一行，将满足条件的行记录保存到新的数据框或列表中：

for row in df.collect():
    # 迭代的行记录处理逻辑
    if row["column_name"] == "condition":
        new_df = new_df.union(spark.createDataFrame([row], df.schema))  # 将满足条件的行记录添加到新的数据框
        new_list.append(row)  # 将满足条件的行记录添加到新的列表

可选：将新的数据框保存为文件或表格：

new_df.write.format("csv").option("header", "true").save("path_to_new_file.csv")  # 保存为CSV文件
new_df.write.format("parquet").saveAsTable("new_table")  # 保存为Parquet表格