如何在.Net Spark中将数组列作为参数传递到VectorUdf中？

using Microsoft.Spark.Sql;
using Microsoft.Spark.Sql.Types;

public static class VectorUdf
{
    public static Column ApplyUdf(Column arrayColumn)
    {
        // 在这里编写处理数组列的逻辑
        // 返回一个新的列
    }
}

using Microsoft.Spark.Sql;
using Microsoft.Spark.Sql.Types;

public static class VectorUdf
{
    public static Column ApplyUdf(Column arrayColumn)
    {
        var udf = Functions.Udf<double[], double[]>(YourUdfMethod, new ArrayType(new DoubleType()));
        return udf(arrayColumn);
    }

    private static double[] YourUdfMethod(double[] array)
    {
        // 在这里编写处理数组的逻辑
        // 返回一个新的数组
    }
}

using Microsoft.Spark.Sql;

class Program
{
    static void Main(string[] args)
    {
        var spark = SparkSession.Builder().GetOrCreate();
        var data = spark.Read().Format("csv").Option("header", "true").Load("your_data.csv");
        
        var result = data.Select(VectorUdf.ApplyUdf(data["your_array_column"]));
        
        result.Show();
    }
}