Pyspark将列列表放入聚合函数

from pyspark.sql import SparkSession
from pyspark.sql.functions import sum

# 创建 SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()

# 创建示例 DataFrame
data = [
    ("product1", 100),
    ("product2", 200),
    ("product1", 150),
    ("product2", 250)
]
columns = ["product", "sales"]
df = spark.createDataFrame(data, columns)

# 使用聚合函数计算每个产品的总销售额
result = df.groupBy("product").agg(sum("sales").alias("total_sales"))

# 显示结果
result.show()

# 处理空值
df = df.fillna(0)

# 再次计算
result = df.groupBy("product").agg(sum("sales").alias("total_sales"))
result.show()

# 增加资源配置
spark.conf.set("spark.executor.memory", "8g")
spark.conf.set("spark.driver.memory", "4g")

# 重新计算
result = df.groupBy("product").agg(sum("sales").alias("total_sales"))
result.show()