我在HDFS上有许多拼花文件目录,每个目录包含几千个小的(大多数都是<100 of )的拼花文件。他们拖慢了我的火花工作,所以我想把它们结合起来。使用下面的代码,我可以将本地拼花文件重新划分为较小数量的部件:pqFile.coalesce(4).write.save("file:/home/hadoop<
, but class was expected at org.apache.hadoop.mrunit.mapreduce.mock.MockMapContextWrapper.create(MockMapContextWrapper.java:70)
at org.apache.hadoop.mrunit.ma