移除低于阈值的功能，但保留spark数据帧中每个组的第一个和最后一个条目

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, min, max, count, when

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 加载数据帧
df = spark.read.csv("data.csv", header=True, inferSchema=True)

# 按组进行分组
grouped_df = df.groupBy("group_column")

# 对每个组进行聚合操作
aggregated_df = grouped_df.agg(
    min(col("value_column")).alias("first_item"),
    max(col("value_column")).alias("last_item"),
    count(col("value_column")).alias("count")
)

# 过滤掉低于阈值的功能
threshold = 10
filtered_df = aggregated_df.filter(col("count") >= threshold)

# 选择需要保留的列
result_df = filtered_df.select("group_column", "first_item", "last_item")

# 显示结果
result_df.show()