我想这样做,但结果必须保存在一个文件中,也在HDFS中。
在GNU/Linux中,我可以这样做:
shuf path/to/file > path/to/shuffled/file
所以,我试过这个:
hadoop fs -cat path/to/file | shuf > path/to/shuffled/file
但不管用。
知道吗?
发布于 2018-06-11 14:11:24
我找到了这样做的答案:
hadoop fs -cat path/to/file | shuf | hdfs dfs -appendToFile - path/to/shuffled/file
https://stackoverflow.com/questions/-100004830
复制相似问题