根据传入的值删除hdfs中的目录

文章/答案/技术大牛

发布

1回答

linux、bash、hdfs

我在HDFS中有一些类似下面的目录。date_loaded <= '2020-07-08‘的目录我喜欢下面的内容 hdfs dfs -rm -R user/$USER/test/date_loaded=2020-07-07 hdfs dfs-rm -R user/$USER/test/date_loaded=2020-07-08 如您所见，我习惯于使用hdfs cli语句来实现我想要的

浏览 5提问于2020-07-16得票数 1

回答已采纳

1回答

即使输出目录不存在，但当` `saveAsTextFile`‘时，激发` `FileAlreadyExistsException`’

java、hadoop、apache-spark、hdfs

我正在运行以下命令行：然后Java8用这个main()触发作业 JavaSparkContext sc = new JavaSparkContext(sparkConf); .map (s -> new JSONObject(s)) rdd.saveAsTextFil

浏览 3提问于2016-02-15得票数 1

回答已采纳

1回答

如何将流日志数据追加到Flume中的hdfs文件中？有没有人有将数据追加到hdfs文件中的MR源代码

streaming、hdfs、flume

我需要使用Flume将流数据附加到hdfs中。在不覆盖现有日志文件的情况下，我需要将流数据附加到hdfs中的现有文件中。您可以提供相同的MR代码的链接。

浏览 3提问于2016-11-21得票数 0

1回答

Hadoop Yarn容器日志丢失

hadoop、hadoop-yarn、amazon-emr

虽然我可以看到成功作业的日志，但我看不到失败作业的日志。节点管理器日志显示日志被删除。org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl (Container Monitor): Stopping resource-monitoring for container_11234567890_12345_11_0000 下面是我的yarn-site.xml的一段代码。有人能建议一下需要

浏览 9提问于2017-07-19得票数 3

2回答

Hadoop HDFS* :垃圾桶位置*

hadoop、hdfs、hadoop2

HDFS在何时何地创建了.Trash文件夹？有什么规则或逻辑吗，有什么参考吗？

浏览 1提问于2018-10-10得票数 4

回答已采纳

1回答

Flume -从HDFS中删除

hdfs、flume

我可以查看由Flume应用程序放置在HDFS上的文件-sudo -u flume hadoop fs -rm -r tweetsFailed to move to trash:当然，用户HDFS看不到该文件夹- sudo -u hdfs

浏览 2提问于2015-05-07得票数 2

1回答

Hadoop快照查询-删除和元数据信息

hadoop、hdfs、snapshot

我正在研究Hadoop快照；创建、删除等等。我有一些疑问：当我对磁盘上的数据进行快照时，是只创建了特定文件/目录的快照还是存在所有副本(假设复制因子为3)？快照记录它执行的文件/目录的块大小和文件位置。除了.snapshot目录之外，我无法在机器上找到或找到元数据信息。谁有任何信息，如何查看这些元数据信息？此外，用于HDFS快照的Apache提到不能删除快照目录</

浏览 0提问于2015-10-18得票数 1

1回答

通过sparkr删除文件

r、azure-blob-storage、sparkr

我想使用SparkR删除wasb中的一个文件，我通过参考以下网站获得了“取消链接”命令命令正在执行，没有抛出任何错误，但文件没有被删除。

浏览 0提问于2017-04-26得票数 0

2回答

是否可以将HDFS存储类型/策略与HBase一起使用？

hadoop、hdfs、hbase

HDFS有一个叫做storage types/policies的功能--它可以将文件存储在具有不同属性的商店中(快速固态硬盘或缓慢但廉价的归档存储)。我想知道是否可以通过HBase使用此功能？我的用例是，我有一些数据是“热”的，预计会经常被访问，所以我想把它放在“热”(SSD)存储中，而有些数据是“冷”的，不经常访问，所以我想把它放在一个更便宜的存储上。我正在尝试找出如何使用HBase/

浏览 27提问于2020-11-29得票数 0

回答已采纳

1回答

使用flume反序列化Json文件并接收到HDFS中

java、json、hadoop、flume、flume-ng

我有一个假脱机目录，所有的json文件都在其中，传入的文件每秒都会被添加到这个目录中，我必须对传入的json文件进行反序列化，并获取requires字段并将其附加到HDFS目录中。我所做的是创建了一个flume conf文件，在这个文件中，它从假脱机目录中获取文件作为源文件，并使用1 Sink将json文件直接放入HDFS。我必

浏览 3提问于2014-11-01得票数 1

1回答

通过Java程序传递Hadoop程序命令

java、hadoop、mapreduce、hdfs、bigdata

有谁能告诉我是否有办法从java程序中将hadoop命令传递给hdfs (例如:创建用于删除目录和文件“hadoop -mkdir /test")？我试图通过java程序在hdfs中创建和删除目录和文件。另外，有没有办法通过java程序检查hdfs中文件/目录的大小。我试图检查hdfs中目录的大小，如果大小为0，我

浏览 1提问于2014-07-19得票数 3

回答已采纳

2回答

如何更改HDFS用户的hdfs用户主目录？

hadoop、hdfs

根据我在Hadoop HDFS上的实践，我知道在创建一个用户(比如u1 )并尝试将本地文件系统中的文件放到HDFS中时，它会搜索对HDFS文件系统具有写权限的目录/user/u1 (默认情况下)。默认情况下，所有用户都在HDFS上的/user目录中搜索他们的(HDFS主目录

浏览 2提问于2014-10-10得票数 1

3回答

Sqoop蜂巢进口

hive、sqoop、bigdata

我正在尝试将一个表从MySql数据库导入到hive表，以了解表名如何是我已经在HDFS主目录中导入的设备。我使用下面的语句在hive中创建了一个表。create table device_hive (device_num int,device_name varchar(255));--tab

浏览 6提问于2016-09-25得票数 0

回答已采纳

6回答

hadoop/hdfs/name处于不一致状态:存储目录(hadoop/hdfs/data/)不存在或无法访问

hadoop、hdfs、nodes

我已经尝试过在堆栈溢出中提供的关于这个主题的所有不同的解决方案，但是没有办法再次询问具体的日志和细节。我的Hadoop集群中有一个主节点和5个从节点。ubuntu和ubuntu组是~/Hadoop文件夹的所有者，~/hadoop/hdfs/data & ~/hadoop/hdfs/name文件夹都存在。这两个文件夹的</

浏览 6提问于2014-12-03得票数 16

回答已采纳

2回答

删除HDFS文件的Bash脚本

bash、hdfs

我正在尝试编写一个bash脚本，它每天运行在cron上，查看hdfs位置并删除路径中的文件，这些文件已经在那里运行了一个多星期。我已经对不同的bash命令做了相当多的研究，但老实说，我不知道从哪里开始。有人能帮我，或者至少引导我朝正确的方向前进吗？在这里说清楚。我从来没有写过bash脚本，这就是为什么我不知道从何开始。

浏览 1提问于2016-09-12得票数 1

1回答

汇合卡夫卡连接HDFS水槽连接器延迟

apache-kafka、hdfs、kafka-consumer-api、apache-kafka-connect、confluent-platform

我有一个包含200万条消息的kafka主题，我的刷新大小是100000，在分布式模式下，默认分区有4个工作人员，我能够在几秒钟内(10到15秒)看到数据被立即写入HDFS。我看到创建了一个+tmp目录和文件夹，每次触发新连接器时都会创建这个主题。每次这么快写它是kafka connector的行为，还是已经将数据存储在HDFS中，并根据连接器属性将其移动到主题目录？如果我停止并删除/topics和

浏览 0提问于2018-07-20得票数 2

回答已采纳

2回答

蜂巢的桌子存放在哪里？

hive

我是Hadoop的新手，我刚刚开始研究Hive，我的理解是它提供了一种查询语言来处理HDFS中的数据。使用HiveQl，我们可以从HDFS创建表并将数据加载到其中。所以我的问题是:那些桌子存放在哪里？具体来说，如果我们的HDFS中有100 GB文件，并且我们想从这些数据中创建一个单元表，那么该表的大小是什么，它存储在哪里呢？如果我对这个概念的理解是错误的，请纠正我

浏览 4提问于2015-03-26得票数 9

回答已采纳

2回答

hadoop删除零字节的文件

hdfs、zero

我正在寻找一个命令在Hadoop2.x删除文件是零字节的hdfs。能不能请任何人告诉我适当的命令。我正在尝试查找hdfs中具有零字节的文件，并将其从目录中删除。

浏览 0提问于2016-11-22得票数 7

3回答

‘的HDFS目录在名称中

hadoop、hdfs

我意外地在HDFS中创建了一个名为‘a’的目录。我正在试着删除这个目录。我已经尝试了所有我能想到的帮助，但是，都没有成功。我尝试了'hdfs dfs username/ -r /username/*‘。我再次尝试了'hdfs dfs -rm -r‘/user/username/。’。所有这些都不起作用！甚至是第一个，它删除了除我想

浏览 7提问于2018-08-01得票数 0

7回答

在人类发展战略中是否有相当于“hdfs”的内容？

hadoop、hdfs

我试着做hdfs dfs -pwd，但是这个命令不存在。因此，目前我诉诸于做hdfs dfs -ls ..，然后是hdfs dfs -ls ../..。我还查看了hdfs dfs的命令清单，但没有看到任何看起来很有希望的东西。有更直接的方法找到绝对路径吗？

浏览 4提问于2014-02-03得票数 32

回答已采纳

点击加载更多