以JavaRDD<Vector>的形式从hdfs加载Java序列文件

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.mllib.linalg.Vector;
import org.apache.spark.mllib.linalg.Vectors;

public class HDFSFileLoader {
    public static void main(String[] args) {
        // 创建SparkContext对象
        JavaSparkContext sparkContext = new JavaSparkContext("local", "HDFSFileLoader");

        // 从HDFS加载Java序列文件
        JavaRDD<String> lines = sparkContext.textFile("hdfs://<HDFS路径>");

        // 将每行解析为Vector对象
        JavaRDD<Vector> vectors = lines.map(line -> {
            // 解析每行数据为向量
            String[] values = line.split(",");
            double[] data = new double[values.length];
            for (int i = 0; i < values.length; i++) {
                data[i] = Double.parseDouble(values[i]);
            }
            return Vectors.dense(data);
        });

        // 打印JavaRDD<Vector>中的向量数据
        vectors.foreach(vector -> System.out.println(vector));

        // 关闭SparkContext对象
        sparkContext.close();
    }
}