猫和分割一个文件并上传到hdfs？
猫和分割一个文件并上传到hdfs？
提问于 2017-10-07 16:05:50
我正在尝试实现这样的场景:我可以拆分本地linux上的gz文件，并将其作为部分解压缩或压缩文件上传到hdfs，而无需将拆分的输出写入磁盘。在尝试以下命令后，我遇到了问题。
下面的命令写到本地磁盘，然后我可以上传到我不想要的hdfs :-
zcat ./file.txt.gz | tail -n +2 | split -l 20 - file.part
hdfs dfs -copyFromLocal ./*file.part* /folder/in/hdfs/我想要这样的东西是可以实现的吗？
zcat ./file.txt.gz | tail -n +2 | split -l 20 | gzip -d | hdfs dfs -put - /folder/in/hdfs/file.part回答 1
Unix & Linux用户
回答已采纳
发布于 2017-10-07 16:29:04
您可以避免拆分，并自己进行拆分：
number_of_files=5 # for you to determine
zcat ./file.txt.gz | for((i=0;i<5;i++)); do
head -n 20 | hdfs dfs -put - /folder/in/hdfs/file.part_$i
done页面原文内容由Unix & Linux提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://unix.stackexchange.com/questions/396695
复制相关文章
相似问题
腾讯云开发者
