Hadoop Mapreduce错误输入路径不存在: hdfs://localhost:54310/user/hduser/ Input“
Hadoop Mapreduce错误输入路径不存在: hdfs://localhost:54310/user/hduser/ Input“
提问于 2015-08-24 18:13:15
我已经在Ubuntu Linux15.04上安装了Hadoop2.6，并且运行良好。但是，当我运行一个示例测试mapreduce程序时，它给出了以下错误：
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/input.请帮帮我。以下是该错误的完整详细信息。
hduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
15/08/24 15:22:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/08/24 15:22:38 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
15/08/24 15:22:38 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
15/08/24 15:22:39 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/app/hadoop/tmp/mapred/staging/hduser1122930879/.staging/job_local1122930879_0001
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/input
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:321)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:264)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:385)
at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:597)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:614)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:492)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)
at org.apache.hadoop.examples.WordCount.main(WordCount.java:87)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)
at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)回答 8
Stack Overflow用户
发布于 2015-08-24 18:23:17
看起来你提到了一个错误的输入路径。Hadoop正在/user/hduser/input上搜索输入路径。Hadoop也遵循类unix的树形结构。如果您只是简单地提到一个目录input，它将被视为/user/{username}/input。
hadoop fs -mkdir -p /user/hduser/input
hadoop fs -put <datafile> /user/hduser/inputStack Overflow用户
发布于 2016-05-02 19:31:58
如果您在物理上看到此路径(文件)，但仍然收到错误，则可能与本地文件系统和Hadoop分布式文件系统(HDFS)混淆。为了运行这个map-reduce，这个文件应该位于HDFS中(只在本地文件系统中定位是行不通的)。
您可以使用此命令将本地文件系统文件导入HDFS。
hadoop fs -put <local_file_path> <HDFS_diresctory> 您可以使用此命令确认HDFS中存在您导入的文件。
hadoop fs -ls <HDFS_path>Stack Overflow用户
发布于 2015-08-25 05:05:42
在执行hadoop作业之前，您必须创建并上载输入。例如，如果您需要上传input.txt文件，则应执行以下操作：
$HADOOP_HOME/bin/hdfs dfs -mkdir /user/hduser/input
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal $HADOOP_HOME/input.txt /user/hduser/input/input.txt第一行创建目录，另一行将输入文件上传到hdfs (hadoop文件系统)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/32179761
复制相关文章
相似问题
腾讯云开发者
