我尝试运行以下内容的bash脚本: #!/bin/bash
CURRENT_HDFS_PATH=`hadoopfs -ls -t -r /$CLEAN_HDFS_PATH | tail -1 | awk -F ' ' '{print $8}'`
echo "Here is the last (most current) file in the history folder to be downloaded=$CURRENT_HDFS_PATH" 以上操作根本不会产生任何结果。请注意,CLEAN_HDFS_PATH=/temp/local-*.i
我想对HDFS目录上可用的数据应用批处理,它通过手动更改路径来工作
hdfsdir = r"hdfs://VPS-DATA1:9000/directory"
filelist = [ line.rsplit(None,1)[-1] for line in sh.hdfs('dfs','-ls',hdfsdir).split('\n') if len(line.rsplit(None,1))][1:]
filepaths=filelist
for path in filepaths:
我已经准备了一个shell脚本来将文件从本地复制到hdfs,但有一个问题。我已经为本月的每一天,也就是六月创建了目录。我正在寻找某种方法将相应日期的文件复制到相应的hdfs文件夹中。
对前-
Test_2G3G_20210601* file to 20210601 folder in hdfs
Test_2G3G_20210602* file to 20210602 folder in hdfs etc
有任何方法可以使用shell脚本来完成这个任务吗?