从Hadoop中删除文件/文件夹
从Hadoop中删除文件/文件夹
提问于 2013-05-29 00:47:17
我正在数据管道中运行电子病历活动，分析日志文件，当我的管道失败时，我得到以下错误
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://10.208.42.127:9000/home/hadoop/temp-output-s3copy already exists
at org.apache.hadoop.mapred.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:121)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:944)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:905)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:905)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:879)
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1316)
at com.valtira.datapipeline.stream.CloudFrontStreamLogProcessors.main(CloudFrontStreamLogProcessors.java:216)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:187)如何从Hadoop中删除该文件夹？
回答 7
Stack Overflow用户
回答已采纳
发布于 2013-05-31 03:56:23
我联系了AWS支持，问题似乎是我正在分析的日志文件非常大，这导致了内存问题。我在EMRCluster部分添加了我的管道定义"masterInstanceType“："m1.xlarge”，它起作用了。
Stack Overflow用户
发布于 2013-05-29 01:01:51
当您说从Hadoop中删除时，实际上是指从HDFS中删除。
要从HDFS中删除某些内容，请执行以下两种操作之一
从命令行执行以下操作：
- 弃用方式：
hadoop dfs -rmr hdfs://path/to/file
- 新方法(使用Hadoop2.4.1) :
hdfs dfs -rm -r hdfs://path/to/file
或者来自java：
FileSystem fs = FileSystem.get(getConf());
fs.delete(new Path("path/to/file"), true); // delete file, true for recursive Stack Overflow用户
发布于 2015-07-04 18:31:40
要从hdfs中删除文件，您可以使用以下给定命令：
hadoop fs -rm -r -skipTrash /path_to_file/file_name要从hdfs中删除文件夹，您可以使用以下给定命令：
hadoop fs -rm -r -skipTrash /folder_name您需要使用-skipTrash选项，否则会提示错误。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/16797358
复制相关文章
相似问题