1回答
我有一个简单的bash script..to将HDFS上的所有文件路径连接到一个变量中，我想出了以下代码： for filename in `hdfs dfs -ls /user/kmob/ctp_modules/conf | awk '{print $NF}' | tr '\n' ' '`echo $filename;
$var=$var',&#x
浏览 15提问于2019-09-16得票数 0
1回答
我想从hadoop文件系统中逐行读取unix框中的记录：while read line
###some other logic
浏览 1提问于2014-04-08得票数 0
回答已采纳
3回答
我希望执行一个存储在HDFS中的shell脚本，并选择将参数传递给脚本。我已经验证了以下的工作我想做以下工作
hadoop fs -cat hdfs://path_to_script/sample.sh param1 param2 param3 param4 | exec <
浏览 7提问于2017-05-19得票数 0
回答已采纳
1回答
我的工作流程中的一个操作是运行bash脚本文件，我需要在bash脚本中使用年、月和日。据我所知，${year}、${month}等变量在协调器中是可用的，但是如何使它们在我的bash脚本中也可用呢？
浏览 19提问于2019-11-13得票数 0
我正在运行一个存储在HDFS上的shell脚本(以便我的oozie工作流能够识别它)。来运行我正在使用的这个脚本但是，我需要将内联参数传递给脚本。在CLI上，我只需用
.我正在努力弄清楚如何对存储在HDFS中的脚本做同样的事情。
浏览 0提问于2017-07-06得票数 0
1回答
我正在使用Hortonworks Sandbox上的Rhadoop读取HDFS到R的数据，在读取R中的数据后，我将对该文件执行特定的操作。谢谢
浏览 3提问于2015-10-27得票数 1
回答已采纳
我有这个bash脚本，当文件夹为空时，我想忽略“没有这样的文件或目录”错误，这样脚本就可以执行其余的代码。
hdfs dfs -copyToLocal $TEMP_HDFS/input/files
浏览 0提问于2020-01-19得票数 0
1回答
我正在尝试将windows Server 2012中的一个NFS共享挂载到我的Hadoop集群(运行Hadoop2.7.3)上，这样它就可以对上传到Windows server的文件运行MapReduceHadoop集群在raspberry pi 2(其中8个)上运行，我已经了解了Hadoop 上的配置
我尝试将NFS挂载到主服务器上的HDFS目录(/hdfs/
浏览 15提问于2017-03-15得票数 0
1回答
我需要使用airflow dag任务将文件放入hdfs中。因此，基本上，我已经安装了docker，在其中，我已经安装了airflow，namenode，datanode，resourcemanager等。因此，通过在namenode上执行ssh，我能够将文件放入hdfs集群中。 但是我想使用airflow dag任务将文件放到hdfs中，这样我就可以在管道中编排一切。任何人都可以使用airflow dag任务帮助我从hdfs上传和获取
浏览 66提问于2021-07-20得票数 1
假设我在HDFS中有这个csv文件：我应该使用bash脚本获得这个路径，并将其作为参数：
#!/bin/bash</e
浏览 1提问于2019-09-03得票数 0
回答已采纳
我试图将hdfs命令输出到一个shell变量，但得到了错误。我的脚本如下：default=$1HDFS_PATH='/data/max_emp_value' (This is a directory) date = "`hadoop fs -cat <
浏览 1提问于2016-08-22得票数 0
回答已采纳
我在HDFS中保存了一些来自Spark应用程序的结果，文件名为part-r-0000X (X= 0，1等)。而且，因为我想将整个内容连接到一个文件中，所以我使用以下命令：前面的命令在一个bash脚本中使用，该脚本将输出目录(保存part-r-...文件的位置)设为空，并在一个循环中执行上面的getmerge命令。问题是
浏览 12提问于2018-07-21得票数 1
回答已采纳
1回答
虽然有很多方法可以做到这一点，但由于服务器属于不同的集群(一个被截断了另一个不属于另一个)，我的同事建议我使用一个简单的bash脚本将数据从远程位置流式传输到本地机器(在本地机器上，数据将被流式传输到hdfs下面的代码适用于第一次迭代，创建一个目录，一个正确命名的文件，并向其中添加正确的内容。但是，它会在第一个文件之后停止(在此测试场景中，有三个名为a、b和c的文件</em
浏览 0提问于2021-04-01得票数 0
我正在用python编写一个内务处理脚本，该脚本将3天前的文件存储到hdfs中，hdfs正常工作，但它不适用于cron。这是我的密码if os.system('hdfs dfstmp-archive') == 0:
print('Archive locat
浏览 2提问于2020-07-25得票数 0
回答已采纳
我想在bash/python中写一个脚本，这样脚本就可以复制到达hdfs目录的最新文件。我知道我可以在本地使用inotify，但如何在hdfs?中实现它可以请您分享它的示例代码。当我在谷歌上搜索它时，它给我提供了一个比inotify更简单的长codes.Is (如果它太复杂了)。
浏览 5提问于2019-08-26得票数 0
2回答
我试着学习Oozie，我想做一个非常简单的工作流程。为此，我使用色调创建了第一个oozie工作流。#!/bin/sh当我尝试将这段代码放入Oozie的shell图标中时，在执行时得到:没有这样的文件或目录more
Oozie
浏览 2提问于2017-06-20得票数 2
我们希望遵循/var/hadoop/hdfs分区的使用空间，如果使用的空间更多地是50%，那么作为结果，我们运行脚本- do_action.bash，最后这个命令应该在crontab中，并且应该每1小时运行一次，我们所做的是打印"run the script do_action.bash"的以下语法，如果阈值大于50%使用的话，
df -Ph | grep 'hdfs
浏览 0提问于2022-08-04得票数 2
回答已采纳
HDFS尚未准备好，HDFS可能仍在启动，或者您的hadoop服务可能存在其他配置问题。
控制台每10秒检查一次这些服务状态的更改，但也可以手动触发刷新。
浏览 3提问于2016-04-29得票数 1
我想让Samza作业在远程系统上运行，Samza作业存储在HDFS上。在煤机上运行Samza作业的示例()涉及构建一个tar文件，然后解压缩tar文件，然后运行位于tar文件中的shell脚本。这里的HDFS示例完全没有详细说明()。它说要将tar文件复制到HDFS，然后遵循非HDFS示例中的其他步骤。这意味着，现在驻留在<em
浏览 3提问于2015-10-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
