java.io.NotSerializableException:当我使用带自定义项的条件创建新列时为org.apache.spark.sql.Column

import org.apache.spark.sql.Column;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

import java.io.Serializable;

public class Example implements Serializable {
    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder()
                .appName("Example")
                .master("local")
                .getOrCreate();

        // 创建自定义列
        MyCustomColumn myCustomColumn = new MyCustomColumn();

        // 将自定义列转换为可序列化的变量
        SerializableColumn serializableColumn = new SerializableColumn(myCustomColumn);

        // 使用可序列化的变量创建新列
        Column newColumn = serializableColumn.getColumn();

        // 使用新列进行数据处理
        Dataset<Row> data = spark.read().csv("input.csv");
        data = data.withColumn("newColumn", newColumn);

        // 执行其他操作...

        spark.stop();
    }

    // 自定义列类
    private static class MyCustomColumn {
        // 实现自定义列的逻辑...
    }

    // 可序列化的列类
    private static class SerializableColumn implements Serializable {
        private transient MyCustomColumn column;

        public SerializableColumn(MyCustomColumn column) {
            this.column = column;
        }

        public Column getColumn() {
            // 在需要使用列时，重新创建非序列化的自定义列对象
            return new Column(column.toString());
        }
    }
}