Pyspark使用自定义函数将每行存储到自定义对象中，例如节点对象

from pyspark.sql import SparkSession
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

# 创建SparkSession
spark = SparkSession.builder.appName("CustomObjectExample").getOrCreate()

# 自定义节点对象
class Node:
    def __init__(self, value):
        self.value = value

# 定义自定义函数来创建节点对象
def create_node(value):
    return Node(value)

# 将Python函数转换为Spark UDF
create_node_udf = udf(create_node, StringType())

# 创建示例数据集
data = [("A"), ("B"), ("C")]

# 将数据集转换为DataFrame
df = spark.createDataFrame(data, ["value"])

# 使用自定义函数将每行存储到自定义对象中
df_with_nodes = df.withColumn("node", create_node_udf(df["value"]))

# 打印结果
df_with_nodes.show()

# 停止SparkSession
spark.stop()