Hadoop缺少HDFS中存在的输入
提问于 2016-09-26 05:58:31
晚上好，
我尝试在Hadoop mapreduce上运行训练样本，但收到输入路径不存在的错误。
16/09/26 05:56:45 ERROR streaming.StreamJob: Error Launching job : Input path does not exist: hdfs://bigtop1.vagrant:8020/training但是，查看hdfs目录，可以清楚地看到"training“文件夹。
[vagrant@bigtop1 code]$ hadoop fs -ls
Found 3 items
drwx------ - vagrant hadoop 0 2016-09-26 05:47 .staging
drwxr-xr-x - vagrant hadoop 0 2016-09-26 04:28 hw2
drwxr-xr-x - vagrant hadoop 0 2016-09-26 04:14 training使用HDFS命令：
[vagrant@bigtop1 code]$ hdfs dfs -ls training
Found 2 items
-rw-r--r-- 3 vagrant hadoop 0 2016-09-26 04:14 training/_SUCCESS
-rw-r--r-- 3 vagrant hadoop 3311720 2016-09-26 04:14 training/part-r-00000有人知道Hadoop会丢失清晰存在的数据的可能原因吗？
下面的调用，必须隐藏一个输入(-f)：
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapreduce.job.reduces=5 -files lr -mapper "python lr/mapper.py -n 5 -r 0.4" -reducer "python lr/reducer.py -e 0.1 -c 0.0 -f ####" -input /training/ -output /models
回答 3
Stack Overflow用户
回答已采纳
发布于 2016-09-27 07:52:14
请将输入参数更改为如下所示。
从…
-input /training/至
-input training/Stack Overflow用户
发布于 2016-09-26 06:44:38
当您运行$ hadoop fs -ls时，它会显示当前用户主目录中的数据。
是否确定数据的路径不是/user/vagrant/
如果在运行$ hadoop fs -ls /时training目录不存在，那么您的路径就错了。
Stack Overflow用户
发布于 2016-09-26 08:45:09
请将输入参数更改为如下所示。
-input hdfs://<machinename>/user/vagrant/training/页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/39695595
复制
腾讯云开发者
