将HDFS Hadoop中最近更新的5个文件复制到bash中的目标文件夹
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的分布式文件系统，用于存储和处理大规模数据集。它具有高容错性、高可靠性和高吞吐量的特点。
要将HDFS中最近更新的5个文件复制到bash中的目标文件夹，可以按照以下步骤进行操作：
- 首先，需要使用Hadoop命令行工具或Hadoop API连接到HDFS。Hadoop命令行工具通常位于Hadoop安装目录的bin文件夹中。
- 使用以下命令列出HDFS中最近更新的5个文件：
- 使用以下命令列出HDFS中最近更新的5个文件：
- 这将列出指定路径下最近更新的5个文件，按照时间排序。
- 选择要复制的文件，并记录它们的完整路径。
- 使用以下命令将选定的文件复制到bash中的目标文件夹：
- 使用以下命令将选定的文件复制到bash中的目标文件夹：
- 将
/path/to/source/file替换为要复制的文件的完整路径，将/path/to/destination/folder替换为bash中的目标文件夹路径。 - 例如，如果要将文件
/data/files/file1.txt和/data/files/file2.txt复制到bash中的目标文件夹/home/user/destination/，则命令如下： - 例如，如果要将文件
/data/files/file1.txt和/data/files/file2.txt复制到bash中的目标文件夹/home/user/destination/，则命令如下： - 这将把选定的文件复制到指定的目标文件夹。
需要注意的是，以上命令假设已经正确配置了Hadoop环境，并且具有足够的权限来访问HDFS中的文件。此外，如果目标文件夹不存在，需要先创建目标文件夹。
腾讯云提供了一系列与Hadoop和大数据相关的产品和服务，例如TencentDB for Hadoop、Tencent Cloud Hadoop、Tencent Cloud Data Lake Analytics等。您可以访问腾讯云官方网站了解更多详细信息和产品介绍。
参考链接：
相关·内容
我正在尝试选择最近更新的5个文件，并使用bash脚本将它们复制到hdfs (Hadoop)中的目标文件夹中。我有这个命令，它返回最近5个文件：
<code>A0</code>
输出
<code>A1</code>
下一步将这些文件移动到目标hdfs目录的好方法是什么？
编辑：
所以我发现hdfs dfs -cp命令可以接受多个参数，如下所示：
<code>A2</code>
此外，我认为使用xargs的公认答案也是一个不错的选择。
浏览 11提问于2020-08-05得票数 0
回答已采纳
我在HDFS中有两个文件和一个目录。
-rw-r--1 hadoop hadoop 11194859 2017-05-05 19:53 hdfs://outputfiles/abc_output.txt
drwxr-xr-x - hadoop hadoop 0 2017-05-05 19:28 hdfs:/outputfiles/sample_directory
-rw-r--r-1 hadoop hadoop 68507436 2017-05-05 19:55 hdfs://outputfiles/sample_output.txt
我想通过一个命令将gzip格式的abc_output.tx
浏览 3提问于2017-05-08得票数 1
3回答
我希望执行一个存储在HDFS中的shell脚本，并选择将参数传递给脚本。我已经验证了以下的工作
hadoop fs -cat hdfs://path_to_script/sample.sh | exec bash
我想做以下工作
hadoop fs -cat hdfs://path_to_script/sample.sh param1 param2 param3 param4 | exec bash
问题是cat命令期望文件流到stdout，但是参数是存储在HDFS中的文件夹和文件。还有其他办法让它起作用吗？
浏览 7提问于2017-05-19得票数 0
回答已采纳
我正在尝试执行一个jar文件，从PHP Server对我的HBase数据库执行一个简单的查询，这样我就可以将结果打印到网页上。
PHP服务器配置了与hadoop用户相同的用户名，以及相同的组。
PHP exec命令为：
exec("bash /usr/local/hadoop/bin/hadoop jar myjar.jar my.package.MyClass 2> php_error.log", $result);
当我尝试执行这个命令(在php_error.log中)时，我得到了这个异常：
Exception in thread "main"
浏览 0提问于2013-02-07得票数 1
回答已采纳
4回答
要创建HDFS文件夹，可以增量地创建/user/SVLSTSLS/LostSales/sales-history-prep文件夹，如下所示：
bash-4.1$ hadoop fs -mkdir /user/SVLSTSLS
bash-4.1$ hadoop fs -mkdir /user/SVLSTSLS/LostSales
bash-4.1$ hadoop fs -mkdir /user/SVLSTSLS/LostSales/sales-history-prep
是否有任何方法可以创建最终文件夹sales-history-prep以及所有中间文件夹(SVLSTSLS和LostSales)，
浏览 9提问于2016-09-15得票数 1
回答已采纳
我使用Hadoop的cloudera发行版，最近不得不更改集群中几个节点的IP地址。更改后，在其中一个节点(旧IP:10.88.76.223，新IP: 10.88.69.31)上，当我尝试启动数据节点服务时，会出现以下错误。
Initialization failed for block pool Block pool BP-77624948-10.88.65.174-13492342342 (storage id DS-820323624-10.88.76.223-50010-142302323234) service to hadoop-name-node-01/10.88.65.174:
浏览 3提问于2015-02-10得票数 2
回答已采纳
1回答
我是R的新手。我试图在R演播室运行地图缩减程序。我已经使用这个命令来查看文件是否存在，或者没有Hadoop -ls，我可以看到文件就在那里。但是当我试图运行代码时，我会得到错误。我的文件位于home/hduser/mr目录中，我创建了另一个名为out的文件夹来保存out。
hdfs://localhost:54310/user/hduser/testsong.cvs流命令失败： **.20/05/23 11:58:30错误streaming.StreamJob:错误启动作业:输入路径不存在！
mr中的错误(map= map，还原=减少，组合=组合，vectorized.reduce，：hado
浏览 4提问于2020-05-23得票数 1
1回答
当我以
hadoop distcp /a/b/c/d gs:/gcp-bucket/a/b/c/ , where d is a folder on HDFS containing subfolders.
如果文件夹c已经在gcp上，那么它将d(及其子文件夹)从HDFS复制到c内的gcp中，但是如果c文件夹不在gcp上，那么它将在gcp上创建c文件夹，并在gcp的c文件夹中复制d的子文件夹(但不是d本身)。
因此，如果e是HDFS上d中的子文件夹，而文件夹c存在于gcp中，那么输出以下命令：
hadoop distcp /a/b/c/d gs:/gcp-bucket/a/b/c/
将会是
浏览 6提问于2020-10-22得票数 2
回答已采纳
我是hadoop和docker的新手。
我一直致力于扩展cloudera/quickstart docker映像docker文件，并希望从主机挂载一个目录并将其映射到hdfs位置，以便提高性能并在本地保存数据。
当我使用-v /localdir:/someDir在任何地方挂载卷时，一切都很好，但这不是我的目标。但是当我执行-v /localdir:/var/lib/hadoop-hdfs时，datanode和namenode都无法启动，并且我得到："cd /var/lib/hadoop-hdfs: Permission -v /localdir:/var/lib/hadoop-hdfs
浏览 1提问于2016-07-22得票数 6
我需要将一个文件夹从本地文件系统复制到HDFS。我找不到任何将文件夹(包括其所有子文件夹)移动到HDFS的示例
$ hadoop fs -copyFromLocal /home/ubuntu/Source-Folder-To-Copy HDFS-URI
浏览 0提问于2015-01-29得票数 76
为了设置一个简单的hadoop项目，我遵循本教程：
我的hadoop单节点似乎运行正常。
当我使用以下代码指定In文件夹时：
FileInputFormat.setInputPaths(conf, new Path("In"));
我收到这个错误：
13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not
浏览 1提问于2013-03-04得票数 12
回答已采纳
我是hadoop的新手，我跟随这个在Fedora 20中安装它。本文中有一个命令：
runuser hdfs -s /bin/bash /bin/bash -c "hadoop fs -mkdir /user/<name>"
在命令的这一部分中，我们将在HDFS中创建一个目录：
"hadoop fs -mkdir /user/<name>"
但我无法理解上述命令的这一部分的用途/含义：
runuser hdfs -s /bin/bash /bin/bash
请让我知道这个命令的确切用法/含义：
runuser hdfs -s /bin/b
浏览 3提问于2014-12-02得票数 0
回答已采纳
2回答
Hadoop文档说-PUT-拷贝单个src，或者从本地文件系统复制多个srcs到目标文件系统。
copyFromLocal -类似于put命令，但源仅限于本地文件引用。
这是否意味着-PUT源文件不限于本地文件引用，并且我可以将文件从HDFS传输到HDFS？
我试过但没成功..。
请帮帮忙，我是Hadoop的新手
浏览 5提问于2015-03-31得票数 0
回答已采纳
1回答
我有过
OS Red Hat Enterprise Linux Server release 7.4 (Maipo)
Ambari Version 2.5.1.0
HDP 2.6
在完成部署组件后，两个数据阳极不能启动。尝试开始返回错误：
File "/usr/lib/python2.6/site-packages/resource_management/core/shell.py", line 303, in _call
raise ExecutionFailed(err_msg, code, out, err)
resource_management.core.
浏览 2提问于2018-02-27得票数 0
回答已采纳
在Hadoop3.0的终端上发出命令将文件从本地文件系统复制到HDFS时，会出现错误
hadoop-3.0.0/hadoop2_data/hdfs/datanode': No such file or directory:
`hdfs://localhost:9000/user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode.
但是，我已经检查了目录hadoop-3.0.0/hadoop2_data/hdfs/datanode是否具有适当的访问权限。我试着从Web浏览器上传文件，它显示了以下错误。
"Couldn't find
浏览 0提问于2018-02-18得票数 1
回答已采纳
假设有一个简单的脚本。
for file in `hadoop classpath | tr ':' ' ' | sort | uniq`; do echo $file; done
hadoop classpath的原始输出如下所示(查找jars的文件夹列表)：
zsh %> hadoop classpath
/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local
浏览 2提问于2014-07-15得票数 3
回答已采纳
1回答
这是一个非常基本的问题，涉及在HDFS目录中运行Grep实用程序所生成的输出文件。实际上，我已经在一个简单的shell脚本中包含了grep命令，它应该在这个目录中搜索给定的字符串--它是脚本的一个参数。脚本的内容如下：
#!/bin/bash
set - e
cd $HADOOP_HOME
bin/hadoop org.apache.hadoop.examples.Grep
"hdfs://localhost:9000/user/hduser" "hdfs://localhost:9000/user/hduser/out" $1
bin/hadoop fs -
浏览 8提问于2018-08-03得票数 0
使用dockers在HDFS repository plugin上测试elasticsearch snapshot-restore。 从Docker Hub拉取hadoop-docker和elasticsearch。 docker run -it -d -p 8088:8088 -p 51270:50070 -p 9000:9000 -v /e/WS/my-hadoop-docker/logs:/usr/local/hadoop/logs sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash 已在elasticsearch容器中成功安装
浏览 126提问于2020-04-14得票数 0
1回答
我正在使用Cloudera hadoop 5.3.3。
下面是我的hadoop类路径命令输出。
bash> hadoop classpath
/etc/hadoop/conf:/usr/lib/hadoop/lib/*:/usr/lib/hadoop/.//*:/usr/lib/hadoop-hdfs/./:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop-hdfs/.//*:/usr/lib/hadoop-yarn/lib/*:/usr/lib/hadoop-yarn/.//*:/usr/lib/hadoop-0.20-mapreduce/./:/u
浏览 1提问于2015-07-17得票数 0
回答已采纳
1回答
我在码头的CMD里指定了它。它如预期的那样工作。
start-all.sh
#!/usr/bin/env bash
echo "It's Me Dear"
/etc/init.d/hadoop-hdfs-namenode start
/etc/init.d/hadoop-hdfs-datanode start
/etc/init.d/hadoop-hdfs-secondarynamenode start
/etc/init.d/hadoop-0.20-mapreduce-tasktracker start
sudo -u hdfs hadoop fs
浏览 2提问于2015-02-03得票数 1
我是一名学生，对Hadoop感兴趣，最近开始探索它。我尝试在DataNode模式中添加一个额外的pseudo-distributed，但是失败了。
我遵循雅虎开发人员，所以我使用的Hadoop版本是hadoop-0.18.0。
我尝试用我在网上找到的两种方法启动：
方法1 ()
我对这条线有意见
bin/hadoop-daemon.sh --script bin/hdfs $1 datanode $DN_CONF_OPTS
在我使用的版本中，--script bin/hdfs似乎是无效的。我用该目录中的所有配置文件将其更改为-config $HADOOP_HOME/conf2，但是当脚本运行
浏览 3提问于2013-07-26得票数 4
我正在尝试从HDFS复制，当我运行此命令时，什么也没有发生。
hadoop fs -copyToLocal out1 ~/datatemp
我假设我应该为HDFS文件包含一个更长的路径- out1是存储在HDFS上的目录，而~/datatemp是本地磁盘上的目标目录。我做得对吗？为什么~/datatemp中没有显示任何内容？我如何知道out1的完整路径
我也试过
hadoop fs -get out1 ~/datatemp
浏览 355提问于2018-06-08得票数 0
我想根据条件列出hadoop中的文件，并将输出追加到文本文件中。下面是我使用的命令
hadoop fs -ls /path/ | grep 'xxx' | awk '{print $8}' >> /hdfs_path/test.txt
当我执行上面的命令时，上面写着下面的错误
-bash: /hdfs_path/test.txt:没有这样的文件或目录
但是该文件存在于目录中。
浏览 0提问于2018-02-28得票数 0
2回答
Hadoop-2.6.0构建失败
、、、、
Hadoop2.6.0构建在windows中失败。但是Hadoop-2.5.0成功地构建了。我正在使用visual 2010命令提示符构建源代码。
构建失败
[INFO] Apache Hadoop Common ............................... SUCCESS [03:18 min]
[INFO] Apache Hadoop NFS .................................. SUCCESS [ 15.649 s]
[INFO] Apache Hadoop KMS .................................. S
浏览 8提问于2014-12-03得票数 1
回答已采纳
1回答
我正试图通过Apache (分布式模式)查询hdfs集群中存在的拼花文件。我已经创建了一个名为“hdfs”的新存储插件，它包含以下配置
{
"type": "file",
"enabled": true,
"connection": "hdfs://<my-name-node-host>:8020",
"config": null,
"workspaces": {
"root": {
"location
浏览 1提问于2017-01-17得票数 0
3回答
我发现了这个问题。
我的HDFS将数据存储在/tmp/文件夹中，该文件夹被系统删除。
我想更改，其中HDFS存储本地文件。
我正在查找hdfs-default.xml，但找不到dfs.data.dir。
运行bin/hadoop version
Hadoop 2.8.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 66c47f2a01ad9637879e95f80c41f798373828fb
Compiled by jdu on 2017-10-19T20:39Z
Compiled with protoc
浏览 6提问于2017-11-07得票数 1
回答已采纳
我正在尝试将s3中的数据移动到另一个位置，该数据是在静态日期字符串上分区的(源)，在那里它是静态分区的(目标)，即年份=yyyy/月=mm/天=dd/
虽然我可以读取Spark中的整个源位置数据，并在tmp hdfs中以目标格式对其进行分区，但s3DistCp无法将其从hdfs复制到s3。它失败并出现OutOnMemory错误。
我正在尝试写近两百万个小文件(每个20KB)
我的s3Distcp正在使用以下参数sudo -H -u hadoop nice -10 bash -c "if hdfs dfs -test -d hdfs:///<source_path>; the
浏览 38提问于2020-08-11得票数 0
我对hadoop体系结构、系统和使用web搜索安装的组件都很陌生。为此，我安装了Hadoop，sqoop，hive。下面是我的安装的目录结构(我的本地ubuntu机器和任何vm，我的每个安装都在不同的目录上)：-
/usr/local/hadoop
/usr/local/sqoop
/usr/本地/蜂巢
通过查看错误，我试图解决它，因此我将sqoop (本地机器/usr/local/sqoop)文件夹复制到目录( hdfs ://localhost:54310/usr/local/sqoop)。这解决了我的问题。我想知道一些事情：-
在将sqoop安装到hdfs之前，我
浏览 2提问于2016-07-02得票数 0
回答已采纳
我是Hadoop的新手，我正在尝试检查HDFS中有哪些数据可用。但是，dfs命令返回一个响应，该响应指示不推荐的类，并且应该使用hdfs：
-bash-4.2$ hadoop dfs -ls
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
ls: `.': No such file or directory
但是，当我尝试使用hdfs命令时，我得到的似乎是一个Java查找错误：
-bash-4.2$ hadoop hdf
浏览 0提问于2018-06-20得票数 0
回答已采纳
我有一个小应用程序，它从本地机器读取文件并将数据写入hdfs。
现在我想列出hdfs文件夹中的文件，比如HadoopTest。当我尝试这样做的时候，我得到了以下例外：
org.apache.hadoop.security.AccessControlException: Permission denied: user=rpoornima, access=EXECUTE, inode="/hbase/HadoopTest/Hadoop_File_1.txt":rpoornima:hbase:-rw-r--r--
at org.apache.hadoop.hdfs.serve
浏览 2提问于2015-08-26得票数 0
2回答
我正在和Windows一起工作，并试图建立Spark。
在此之前，除了Spark之外，我还安装了Hadoop，编辑了配置文件，运行了hadoop -format，然后我们就走了。
现在，我正试图通过使用由Hadoop-Smark-1.6.1-bin-hadoop2.6.tgz预构建的星火捆绑版本来实现同样的目标。
到目前为止，这是一个更干净、更简单的过程，但是我不能再访问创建hdfs的命令，hdfs的配置文件不再存在，而且我在任何bin文件夹中都没有'hadoop‘。
火花安装中没有Hadoop文件夹，我为winutils.exe创建了一个文件夹。
感觉好像我错过了什么。星星之火的预建
浏览 3提问于2016-04-12得票数 0
回答已采纳
我已经在伪分布式模式(机器-1)中安装了Hadoop2.7.2，.I希望向其添加一个新的datanode，使其成为一个cluster.As，但问题是这两台机器都有不同的网络磁盘分区。
我在新的数据节点(机器-2)中安装了相同版本的Hadoop2.7.2，也可以使用机器-1。在谷歌许多网站之后，都有共同的教程提到，我们必须在/etc/hadoop/文件夹中有相同的配置文件。
鉴于上述，我在机器-1中的现有配置如下：
core-site.xml
<configuration>
<property>
<name&g
浏览 4提问于2016-06-17得票数 4
我相信下面所有的命令都可以用来将hdfs文件复制到本地文件系统。有什么不同/情景利弊。( Hadoop新手在这里)。
hadoop fs -text /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -cat /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -get /hdfs_dir/* >> /local_dir/
我的经验法则是避免对大文件使用'text‘和'cat’。(我使用它来复制我的MR作业的输出，在我的用例中通常较小)。
浏览 0提问于2014-09-19得票数 2
2回答
不能输出Hadoop命令
、、、、
我想运行以下命令：
hadoop fs -copyToLocal FILE_IN_HDFS | ssh REMOTE_HOST "dd of=TARGET_FILE"
但是，当我尝试时，它所做的就是在目标主机上创建一个空文件并将其复制到本地主驱动器，而不是将其复制到远程位置。
$ hadoop fs -copyToLocal FILE_IN_HDFS FILE_IN_HDFS ssh REMOTE_HOST "dd of=test.jar“
0+0 Datens tze ein
0+0 Datens tze aus
0 Bytes (0 B) kopiert，1 1
浏览 3提问于2013-02-18得票数 1
回答已采纳
我正在使用flume将数据加载到HDFS。最近服务器上的IP发生了变化，所以在那之后我根本就不能启动从服务器了。我在服务器和数据节点上有很多数据，所以不能重新格式化。即使主节点调用从节点并尝试启动，从节点也不会启动。下面是我看到的一个例外，因为slave还在尝试引用master的旧IP：
java.io.IOException: replica.getGenerationStamp() < block.getGenerationStamp()
WARN org.apache.hadoop.hdfs.server.protocol.InterDatanodeProtocol: Failed
浏览 0提问于2014-12-15得票数 0
1回答
我使用两个主机(hadoop-coc-1和hadoop-coc-2)尝试在它们中配置HDFS联邦。因此，我在两个主机(hadoop-coc-1和hadoop-coc-2)中配置了$ cat etc/hadoop/hdfs-site.xml。
两个HDFS都与WebHDFS一起正常运行。但是，使用此配置，defaultFS服务不会运行。也许这就是我不能将数据从本地磁盘复制到HDFS的原因。
我尝试使用以下命令复制数据：
$ hdfs dfs -copyFromLocal ~/input1 webhdfs://hadoop-coc-1/
Java HotSpot(TM) Client
浏览 3提问于2015-03-02得票数 0
我在本地文件系统中有一个源目录(/home/src)，包含2个文件( file1.txt和file2.txt )
我想通过代码将它们复制到HDFS中的目标目录(HDFS)中。
import org.apache.hadoop.fs.FileUtil;
当我使用FileUtil API将内容从本地src移动到hdfs dest时，它也移动了src目录。
FileUtil.copy("/home/src", fs, "/user/dest", true, conf);
是否有一种方法，可以使用src API将目录内容从dest移到dest？
浏览 1提问于2017-05-20得票数 2
回答已采纳
5回答
我的Hadoop HDFS中有一个.jar文件(包含一个我想要修改的Java项目)，我想在Eclipse中打开它。
当我输入hdfs dfs -ls /user/...时，我可以看到.jar文件就在那里-但是，当我打开Eclipse并尝试导入它时，似乎到处都找不到它。我确实在我的文件系统中看到一个hadoop/hdfs文件夹，它将我带到两个文件夹；namenode和namesecondary这两个文件夹都没有我要查找的文件。
有什么想法吗？我被困在这件事上有一段时间了。提前感谢您的帮助。
浏览 0提问于2016-03-30得票数 6
我对hadoop很陌生，最近当我在Openstack集群和cd上运行MapReduce作业到datanode机器的目录中时，我发现有两个hadoop文件夹，一个叫做" hadoop“，另一个叫做”hadoop-2.7.1“。显然，后者更有意义，因为它告诉hadoop版本。这两个文件夹包含相同的子目录，但这两个目录之间有何不同？如果我想在这台机器上禁用HDFS权限检查，我应该选择哪一个呢？
这里是一个截图
浏览 0提问于2019-05-23得票数 0
回答已采纳
我是Flume的新手，对它的配置有一些问题。
我在Oracle VirtualBox上使用Hortonworks Sandbox HDP 2.6.5 (如果这很重要)。
我的VM中有一个文本文件input_data.txt：
input_data.txt的内容如下所示：
我使用以下命令创建并逐步扩展输入：
cat input_data.txt | while read line ; do echo "$line" ; sleep 0.2 ; done > output.txt
我想要达到的目标：
1)编写一个水槽配置，将不断增长的output
浏览 0提问于2018-08-20得票数 0
回答已采纳
2回答
无法在配置单元中创建分区
、、、
我无法从配置单元中已经存在的表中创建分区到新表中。
在创建表之后，我在配置单元上运行的查询是
INSERT INTO TABLE ba_data.PNR_INFO1_partitioned PARTITION(pnr_create_dt) select * from pnr_info1_external;
我得到的错误是
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hive/warehouse/ba_data.db/pnr_info1_partitioned/.hiv
浏览 5提问于2016-08-09得票数 1
大家好，我是使用hadoop的新手，这是我的大学工作，所以我正在做一些研究，我已经安装了hadoop-2.7.3，但我找不到路径，我应该在哪里上传文件，以便通过hadoop本地主机检查它？
此图显示了为数据节点和名称节点创建的文件夹
hadoop_store内幕
hdfs文件夹内部
谁能告诉我我应该在这里给出什么链接。
如有任何帮助，我们将不胜感激
浏览 2提问于2016-10-31得票数 0
2回答
情景：我已经在不同的码头容器中设置了Hive、Hue和Hadoop。在同一个码头网络里。我为每个Hadoop Namenode、2个Datanodes、1个Hue实例、1个Hive Server和Postgres Metastore创建了一个容器。我能够在namenode的hdfs-site.xml中配置一个色彩代理用户，并且可以通过webhdfs浏览文件系统。然而，对于Hive，我在Hue中得到了错误：
Failed to open new session: java.lang.RuntimeException:
org.apache.hadoop.ipc.RemoteException
浏览 3提问于2017-11-13得票数 1
1回答
最近在下面的链接上安装了VM，并尝试以HDFS用户身份运行命令sudo hdfs dfs -mkdir /user/vagrant。然而，Hadoop向我抛出了下面的错误消息。
-bash-4.1$ hdfs dfs -mkdir /user/vagrant
: command not founddoop-env.sh: line 15:
: command not founddoop-env.sh: line 16:
: command not founddoop-env.sh: line 21:
: command not founddoop-env.sh: line 26:
: com
浏览 7提问于2016-09-26得票数 0
使用WEBHDFS REST API调用，我是否可以将文件从Windows计算机(即windows服务器或windows本地文件夹或桌面)传输或复制到Hadoop-HDFS文件系统？
如果是，是否有任何示例命令信息？
我已经尝试过了，而且我能够使用
Windows -> (使用ftp)-> Linux目录-> (使用webhdfs) -> HDFS，这是两个步骤的过程，我正在寻找直接从Windows -> (webhdfs) -> HDFS的一个步骤的过程。
我也参考了中的有用信息。
示例:如果我的文件在E:\user\accounts.txt中，并且我想使
浏览 4提问于2016-08-12得票数 2
我们希望遵循/var/hadoop/hdfs分区的使用空间，如果使用的空间更多地是50%，那么作为结果，我们运行脚本- do_action.bash，最后这个命令应该在crontab中，并且应该每1小时运行一次。
分区hdfs示例
df -Ph | grep 'hdfs'
/dev/sdc 20G 1.7G 18G 9% /var/hadoop/hdfs
到目前为止，我们所做的是打印"run the script do_action.bash"的以下语法，如果阈值大于50%使用的话，
df -Ph | grep
浏览 0提问于2022-08-04得票数 2
回答已采纳
1回答
我使用Release label:emr-6.2.0 Hadoop distribution:Amazon Applications:Spark 3.0.1, Zeppelin 0.9.0创建了一个AWS EMR Spark集群，并将我的所有本地文件(.jars、.py、.csv和sas7bdat)复制到集群主机 当我这样做的时候 [hadoop@ip-172-31-22-207 ~]$ ls -al /home/hadoop/sas_data1/
total 1071812
rwxrwxr-x 2 hadoop hadoop 66 Sep 13 04:08 .
drwxr-xr-x 7 h
浏览 38提问于2021-09-13得票数 1
回答已采纳
我有一个由特定开始日期(ds)划分的表。我可以查询最新的分区(前一天的数据)，它将很好地使用分区。
hive> select count(1) from vtc4 where ds='2012-11-01' ;
...garbage...
MapReduce Jobs Launched:
Job 0: Map: 1 Reduce: 1 Cumulative CPU: 6.43 sec HDFS Read: 46281957 HDFS Write: 7 SUCCESS
Total MapReduce CPU Time Spent: 6 seconds 430 m
浏览 2提问于2012-11-02得票数 2
我已经将hdfs-site.xml中的dfs.name.dir设置为：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>>/mnt/data/nn</value>
</property&
浏览 1提问于2013-11-01得票数 2
回答已采纳
我不知道这里发生了什么，但我正在尝试将一个简单的文件从本地文件系统中的一个目录复制到为hdfs指定的目录中。
在我的hdfs-site.xml中，我使用以下属性指定hdfs的目录为/home/vaibhav/Hadoop/dataNodeHadoopData -
<name>dfs.data.dir</name>
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value>
and
<name>dfs.name.dir</name>
<value>/hom
浏览 5提问于2013-02-05得票数 12
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
