// writes the Results into another Dataframe that is saved to HDFS我认为在Scala列表中的DataFrames的计算可以并行进行,因为计算结果不是下一个DataFrame的输入-我如何实现这一点?1)当我在spark-shell中执行此命令时,一切工作正常/
例如,我们有一个拼图文件,其中包含2000个股票代码在过去3年的收盘价,我们想要计算每个股票代码的5日移动平均值。所以我创建了一个spark SQLContext然后 marketData.filter(symbol).rdd.sliding(5).map(...calculating the avg...).save()显然,在spark<