问HDFS：将输出“Shuf‘linux命令重定向到HDFS中的文件怎么做？
EN

Stack Overflow用户

提问于 2018-06-11 04:46:16

回答 1查看 0关注 0票数 0

我想这样做，但结果必须保存在一个文件中，也在HDFS中。

在GNU/Linux中，我可以这样做：

shuf path/to/file > path/to/shuffled/file

所以，我试过这个：

hadoop fs -cat path/to/file | shuf > path/to/shuffled/file

但不管用。

知道吗？

发布于 2018-06-11 14:11:24

我找到了这样做的答案：

hadoop fs -cat path/to/file | shuf  | hdfs dfs -appendToFile - path/to/shuffled/file

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/-100004830

复制

相似问题

问HDFS：将输出“Shuf‘linux命令重定向到HDFS中的文件怎么做？EN