HDFS到HDFS完全强制移动文件

文章/答案/技术大牛

发布

3回答

hadoop、hdfs、cloudera

据我所知，当从一个硬盘文件系统位置移动到另一个硬盘文件系统位置时，没有直接的选项来覆盖HDFS中的文件，复制cp有强制选项。我在试着找出是否有黑客可以做到这一点？我们可以做的是hdfs dfs -cp -f /hdfs/location1 /hdfs/location2而不是hdfs dfs -mv -f /hdfs/location1&#

浏览 50提问于2018-01-12得票数 4

1回答

来自NiFi的锁定文件

hdfs、apache-storm、apache-nifi

在尝试使用storm HDFS spout时，我让Apache Nifi将文件移动到HDFS目录，风暴正在监听该目录，但一旦apache nifi开始移动该文件，storm就会感知到该文件并开始处理，注意到该文件尚未完全移动我尝试使用conf.put(Configs.IGNORE_SUFFIX, ignoreSuffix)和apache nifi updateAttribute将<

浏览 0提问于2018-09-17得票数 0

回答已采纳

1回答

如何在Hadoop2.6.4中执行类似'recoverLease‘命令

hadoop、hdfs

我使用的是Hadoop 2.6.4，我有状态为'openforwrite‘的文件。我得到了解决方案:运行'hdfs debug recoverLease‘来恢复hdfs块文件的租约。

浏览 0提问于2017-11-21得票数 0

1回答

将文件从本地计算机直接复制到远程HDFS集群

linux、hadoop、ssh、hdfs、cat

我想直接将文件从本地Linux机器复制到远程HDFS集群，也就是说，我不希望将文件复制到远程计算机，然后使用copyfromlocal命令将其移动到HDFS。cat sample.txt | ssh -tt root@MY_HDFS_CLUSTER "sudo -u hdfs hdfs dfs -put - /user/myuser/data/sample/

浏览 2提问于2014-04-09得票数 0

1回答

用hadoop mv覆盖目的地？

hadoop、hadoop2

看起来(与linux不同)，如果已经存在，hadoop fs mv命令不会覆盖目标文件。有没有一种强制覆盖行为的方法(我想每次我都可以检查和删除目标，但是类似hadoop mv -overwrite <source> <dest>这样的东西会更方便我的目的)？

浏览 4提问于2018-05-22得票数 6

回答已采纳

2回答

将数据存储在hdfs中而不是消息队列中

hadoop、mapreduce、hdfs

我希望直接将数据放在hdfs中。我不希望数据写入文件并转移到hdfs。从hdfs开始，我将处理数据并将结果放入HDFS。我可以通过Java程序将数据写入hdfs，而不是将复制命令交给HDFS吗？

浏览 6提问于2015-07-06得票数 0

1回答

如何使用Oozie将远程文件复制到HDFS中？

hadoop、hdfs、oozie

我必须将远程文件复制到HDFS中。我想使用Oozie，因为我需要每天在特定的时间运行这项工作。

浏览 1提问于2014-08-23得票数 0

1回答

Hadoop -数据在复制到HDFS时自动平衡？

hadoop、hdfs

如果我将一组文件复制到Hadoop 7节点集群中的HDFS中，HDFS会自动平衡7个节点的数据吗?我是否可以告诉HDFS将/强制数据约束到集群中的特定节点？

浏览 2提问于2016-08-13得票数 0

回答已采纳

2回答

我可以使用-put命令在HDFS中传输文件吗？

shell、hadoop、command、put

Hadoop文档说-PUT-拷贝单个src，或者从本地文件系统复制多个srcs到目标文件系统。我试过但没成功..。请帮帮忙，我是Hadoop的新手

浏览 5提问于2015-03-31得票数 0

回答已采纳

2回答

将CSV文件导入Hadoop

csv、hadoop2

我是Hadoop的新手，我有一个文件可以通过命令行导入到hadoop (我通过SSH访问机器) 如何在hadoop中导入文件？我该如何检查(命令)？

浏览 3提问于2015-12-14得票数 11

3回答

sqoop与hdfs命令

mysql、hadoop、hdfs、sqoop

据我所知，Sqoop命令用于将数据从MySql等数据库导入到HDFS，反之亦然；HDFs命令用于处理HDFS中的数据，例如从HDFS获取数据到本地文件系统，反之亦然。我们不能使用sqoop命令来处理HDFS中的数据-从本地文件系统获取数据到hdfs，反之亦然。请告诉我Sqoop和HDFS命令之间的确切区别。为什么我们有两个不同的东西。

浏览 0提问于2017-01-29得票数 0

1回答

将HDFS文件映射到外部驱动器时出错

hadoop、hadoop2

我想在hadoop-2.7.3中创建一个文件夹，它物理上驻留在外部(usb-拇指)驱动器上，我的想法是，我-copyFromLocal的任何文件都将驻留在拇指驱动器上。mkdir /media/usbhdfs dfs -mkdir /media/usb/test hdfs dfs -copyFromLocal，我没有得到这样的文件/文件</

浏览 0提问于2017-01-13得票数 0

1回答

如何完全更改每个Hadoop DataNode上的底层磁盘？

linux、hadoop、hdfs

3.0T 2.0T 1.1T 65% /mnt/vol_a <name>dfs.data.dir</name> <value>/mnt/vol_a/hdfs/datanode,/mnt/vol_

浏览 4提问于2016-03-04得票数 0

3回答

将整个HDFS从一个群集转移到另一个群集

hadoop、hive

在一个有5个节点的测试集群上，我的HDFS中存储了大量的hive表。数据应在70 Gb *3左右(复制)。不，我想将整个设置转移到具有更多节点的不同环境中。无法在两个群集之间建立网络连接。是否可以仅将5个节点的hdfs目录复制到新群集的5个节点，然后将其余节点添加到新群集并启动平衡器？

浏览 3提问于2013-01-11得票数 1

回答已采纳

5回答

我的Hadoop HDFS中有一个.jar文件(包含一个我想要修改的Java项目)，我想在Eclipse中打开它。当我输入hdfs dfs -ls /user/...时，我可以看到.jar文件就在那里-但是，当我打开Eclipse并尝试导入它时，似乎到处都找不到它。我确实在我的文件系统中看到一个hadoop/hdfs文件夹，它将我带到两个文件夹；namenode和namesecondary这两个文件夹都没

浏览 0提问于2016-03-30得票数 6

1回答

当尝试将csv从一个目录复制到另一个目录时，HDFS‘没有这样的文件或目录’错误

hive、hdfs、hortonworks-sandbox

我正在使用Hortonworks Sandbox (不确定这是否重要)，并试图将csv文件从'/user/root/‘目录复制到’/user/nyc_出租车/‘目录中，但它给了我一个’没有这样的文件或目录我使用Windows 10及以下是我在终端中编写的命令：>hdfs dfs -mkdir /user/root >hdfs dfs -mkdir

浏览 0提问于2018-09-09得票数 1

回答已采纳

2回答

通过将文件覆盖到单元管理表中丢失的文件

hive、hdfs

我在HDFS中有8-9个文件。我创建了一个内部的蜂巢表。我首先在那个表中加载了这8个文件中的一个。对这些数据做了些操作。现在，我看到所有的文件都不在原来的位置。另外，在/user/hive/仓库/ABC上，只有最后一个文件在那里。以前的文件都去哪儿了？他

浏览 1提问于2017-03-08得票数 2

回答已采纳

1回答

在Apache引用中，“仅限于Hive表数据”是什么意思？

hadoop、hive、cloudera、cloudera-cdh

Sentry为Hadoop集群上的经过身份验证的用户和应用程序提供了控制和强制执行对数据的精确权限级别的能力。Sentry目前使用Apache、HCatalog/HCatalog、Apache、Impala和HDFS (仅限于Hive表数据)。 HDFS仅限于Hive表数据到底是什么意思？这是否意味着我不能为用户设置对HDFS上特定路径的权限访问？

浏览 0提问于2018-11-08得票数 1

回答已采纳

2回答

合并后使用Pig脚本删除文件

apache-pig、hdfs

我正在尝试合并大量的小文件(200k+)，并想出了以下超级简单的小猪代码：store Filesinto 'hdfs/output/path' using PigStorage(); 一旦Pig完成合并，有没有一种方法可以删除输入文件？我想检查文件是否已经写入并且不是空的(即0字节)。我不能简单地删除输入路径中的所有内容，因

浏览 2提问于2016-03-30得票数 0

2回答

要在群集之间复制的HAWQ数据

hawq

我有一个要求，我需要每天刷新生产HAWQ数据库到QA环境。感谢您的帮助谢谢Veeru

浏览 6提问于2017-05-04得票数 0

点击加载更多