Spark-csv在Java/Scala中的时间戳解析

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class SparkCsvTimestampParsingExample {
    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder()
                .appName("Spark CSV Timestamp Parsing")
                .master("local")
                .getOrCreate();

        // 读取CSV文件并解析时间戳
        Dataset<Row> csvData = spark.read()
                .format("csv")
                .option("header", "true")
                .option("timestampFormat", "yyyy-MM-dd HH:mm:ss")
                .load("path/to/csv/file.csv");

        // 执行进一步的数据处理和分析
        // ...

        // 显示DataFrame的内容
        csvData.show();

        spark.stop();
    }
}