0回答
我想在HDFS分区中找到旧文件(例如，超过2小时)。"-mmin“不被识别，你有别的想法吗？我的代码：Return : find:意外参数：-mmin
浏览 2提问于2017-12-14得票数 0
回答已采纳
我们希望检查/hadoop/hdfs下的所有文件和文件夹是否具有权限- hdfs:hadoop
是否可以使用find命令进行此测试？如果查找没有此权限的捕获文件/文件夹，则find将打印这些文件/文件夹
浏览 0提问于2018-04-22得票数 1
回答已采纳
9回答
我想使用Scala/Spark列出hdfs目录中的所有文件夹。在Hadoop中，我可以使用以下命令来完成这一任务：hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/val conf = new Configuration://sandbox.hortonworks.com/demo/")
val files = fs.li
浏览 41提问于2015-10-28得票数 39
回答已采纳
1回答
作业历史日志文件
、、
$HADOOP_HOME/contrib/vaidya/bin/vaidya.sh -jobconfig <path1> -joblog <path2>
我无法找到工作历史记录；在hadoop中哪里可以找到作业历史日志文件
浏览 0提问于2012-06-15得票数 0
为了从twitter获取tweet，我在flume.conf文件中设置了所有必需的参数(consumerKey、consumerSecret、accessToken和accessTokenSecret)= MemChannel= hdfs://localhost= Text
TwitterAg
浏览 5提问于2015-06-24得票数 1
2回答
我在Hive中创建了一个外部表，它使用HDFS中Parquet存储的数据。
编辑:在检查了Parquet文件之后，我发现部件文件的文件名似乎不兼容。187235
浏览 0提问于2015-08-26得票数 0
在集群中添加两个额外的节点之前，我们希望使用一个新的磁盘来增加分区的大小。所有数据都在装入文件夹/dfs的分区下。根4096 2014年5月8日drwxr-xr-x5根根4096 2014年5月8日drwxdrwxdrwx 3 hdfs hadoop 4096 2月23日18:14drwxdrwx在纱线下面有以下文件
浏览 3提问于2015-02-24得票数 2
回答已采纳
嘿，我正在Hadoop2.0多节点集群中安装HIVE，我无法使用以下命令创建文件夹：16load native-hadoop library for your platform... using builtin-java classes where applicable
重要的是我找不到创建的文件夹
浏览 2提问于2016-07-19得票数 0
在试图在hive2 db上写入时，我有以下错误：
ERROR: java.io.IOException: Could not get block locations.
浏览 5提问于2022-02-10得票数 0
5回答
我的Hadoop HDFS中有一个.jar文件(包含一个我想要修改的Java项目)，我想在Eclipse中打开它。当我输入hdfs dfs -ls /user/...时，我可以看到.jar文件就在那里-但是，当我打开Eclipse并尝试导入它时，似乎到处都找不到它。我确实在我的文件系统中看到一个hadoop/hdfs文件夹，它将我带到两个文件夹；namenode和namesecondary这两个文
浏览 0提问于2016-03-30得票数 6
在Hadoop3.0的终端上发出命令将文件从本地文件系统复制到HDFS时，会出现错误`hdfs://localhost:9000/user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/d
浏览 0提问于2018-02-18得票数 1
回答已采纳
4回答
我知道在终端上，用户可以执行find命令来查找文件，例如：但是，当我在hadoop文件系统中时，我还没有找到这样做的方法。
hadoop fs -find ....人们如何在hadoop中遍历文件？我使用的是hadoop 2.6.0-cdh5.4.1。
浏览 4提问于2015-10-02得票数 8
3回答
我的HDFS将数据存储在/tmp/文件夹中，该文件夹被系统删除。我正在查找hdfs-default.xml，但找不到dfs.data.dir。This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.8.
浏览 6提问于2017-11-07得票数 1
回答已采纳
我有一个mapreduce作业，其中的文件输入路径是：/basedirectory/*/*.txt 在have目录中，我有不同的子文件夹(CaseA、CaseB等)，每个子文件夹都包含hdfs文本文件在作业的映射阶段，我想找出数据分片的确切来源(例如CaseA)。我怎样才能做到这一点呢？我对mapreduce作业执行了类似的操作，其中包含超过1个输入hbase表，其中我使用context.getInputSplit().g
浏览 17提问于2019-03-24得票数 1
回答已采纳
我在HDFS上有一个文件夹，不管出于什么原因，它都包含包含逗号的部分文件。例如hdfs://namespace/mypath/1-2,124问题是，我想一次只读一些部件文件，以防止重载我的集群，这意味着我
浏览 0提问于2018-05-23得票数 2
回答已采纳
我在尝试将文件从hdfs读取到Spark时遇到错误。文件README.md存在于hdfs中16/02/26 00:29:14 WARN util.NativeCodeLoaderbuiltin-java classes where applicable
-rw-r--r-- 1 spark supergroup 4811 2016-02-2
浏览 13提问于2016-02-26得票数 7
1回答
火花- hadoop论点
、、、
我同时运行hadoop和S火星，我想使用来自hdfs的文件作为火花提交的一个参数，所以我在hdfs中创建了一个文件夹--例如。/target/scala-2.10/test_2.10-1.0.jar hdfs://user/hduser/test/input
警告FileInputDStream:查找新文件</em
浏览 2提问于2017-08-09得票数 0
9a4558fdaf70; datanode clusterID = CID-492135f3-fc08-46f1-a574-878855ae865e启动它的唯一方法是每次我想重新开始的时候都要删除手动的tmp foder。
浏览 0提问于2016-11-05得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
