该应用程序部署在一个使用Spark1.4.0的Amazon集群上,我正在S3中对数据进行排序并保存文件。管道的代码(排序算法除外)详细说明如下:
public KinesisPreProcessPipeline(JavaStreamingContext jssc, final KinesisPreProcessModuleConfiguration15/07/17 13:17:36错误executor.Executor:任务0.1中
在foreachRDD()中,有一些使用Spark的示例。AVG(lineno) AS line_a FROM logstash WHERE path = '/var/log/system.log' AND lineno > 70 GROUP BY host ORDER=> org.apache.spark.rdd.RDD_ >:LogStash.AlertMsg具有字符串<:j