腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
Java
查找
hdfs
中
是否
存在
该
文件
?
java
、
maven
、
hdfs
、
hadoop2
我正在尝试
查找
hdfs
目录
中
是否
存在
触发器
文件
。", org.apache.hadoop.
hdfs
.DistributedFileSystem.class.getName()); try { FileSystem
hd
浏览 31
提问于2020-04-12
得票数 1
2
回答
从
HDFS
集群读取Parquet
文件
hdfs
、
apache-nifi
查找
有关
如何
使用
Apache从
hdfs
集群读取拼板
文件
的建议。在集群
中
,有多个
文件
存在
于单个目录下,想要在一个流程
中
全部读取。Nifi
是否
提供了一个内置组件来读取
HDFS
目录
中
的
文件
(本例
中
为parquet)?示例-目录
中
的3个
文件
-
hdfs
://app/dat
浏览 0
提问于2018-11-09
得票数 0
回答已采纳
1
回答
从Python检查
HDFS
中
是否
存在
文件
python
、
hadoop
、
fabric
因此,我一直在
使用
Python
中
的fabric包来运行用于各种
HDFS
任务的shell脚本。from fabric.api import local local('hadoop fs -stat
hdfs
:/
浏览 3
提问于2016-11-22
得票数 4
回答已采纳
1
回答
从本地spark-submit检查远程
HDFS
上
是否
存在
文件
java
、
apache-spark
、
hadoop
、
hdfs
我正在开发一个专门在
HDFS
文件
系统(位于
HDFS
_IP)上
使用
Spark的
Java
程序。我的目标之一是检查
HDFS
上
是否
存在
路径为
hdfs
://
HDFS
_IP:
HDFS
_PORT/path/to/file.json的
文件
。在本地调试我的程序时,我发现我不能
使用
以下代码访问这个远程
文件
priva
浏览 37
提问于2020-04-14
得票数 2
2
回答
如何
在Oozie工作流中使
文件
成为可选的?
hadoop
、
oozie
、
oozie-workflow
假设我有一个工作流操作,我需要从
hdfs
获取和
使用
一个
文件
(如果它
存在
),否则不会失败。有没有办法在工作流配置
中
做到这一点?所以,如果我有这样的东西: <
java
> ..</
java
> </action
浏览 2
提问于2017-07-25
得票数 0
5
回答
Hadoop
文件
系统
查找
块大小?
hadoop
、
hdfs
在Hadoop fs
中
,
如何
查找
特定
文件
的块大小?hadoop fs ...
hdfs
://fs1.data/... 但看起来这并不
存在
。有
Java
解决方案吗?
浏览 8
提问于2011-12-07
得票数 16
回答已采纳
1
回答
如何
从oozie
中
的workflow.xml
中
移除硬编码值(如缓存
文件
)并使其动态化?
hadoop
、
oozie
我在workflow.xml
文件
(如缓存
文件
)中有硬编码的值,Workflow.xml
文件
包含硬编码的jar我想删除tutorial-udf.jar我可以通过将硬编码值写入job.properies
文件
并将其传递给workflow.xml
文件
来实现此目的。与workflow.xml
中
的以下代码类似这是一种方法。请推荐另一种方法。 技术oozie,H
浏览 3
提问于2013-10-09
得票数 0
1
回答
当试图从点燃集群
中
获取数据时,火花作业将无限期地停留。
ignite
、
apache-spark-2.0
我们将处理每个执行器
中
的设置或记录,我们只从缓存
中
读取数据,并与当前处理的记录进行比较。如果它已经
存在
于缓存
中
,我们将忽略它,否则我们将
使用
它。address)在作业结束时,我们将
使用
所有有效记录更新缓存这已经运行了几次,并且在某个时候,它在试图从缓存
中
读取数据时会被无限期地卡住。 在Executor日志<
浏览 2
提问于2020-06-23
得票数 0
2
回答
提取
HDFS
文件
夹或
文件
详细信息
hadoop
、
hdfs
、
hiveql
要
使用
hive随时
查找
HDFS
目录
中
存在
的
文件
数,我创建了一个hive外部表。谁能帮助我提取在
HDFS
中
存在
的目录的
文件
细节,因为INPUT__FILE__NAME或
hdfs
dfs -stat不是我的目的,我希望所有的-ls到一个csv
文件
。
浏览 0
提问于2019-12-16
得票数 0
6
回答
未找到Sqoop jar
文件
sqoop
我在
使用
sqoop import命令时遇到以下错误: error security.UserGroupInformation: PriviledgedActionException as:SqoopUser(auth:SIMPLE) cause:
java
.io.FileNotFoundException:
文件
不
存在
:sqoop尊敬的
浏览 2
提问于2013-10-15
得票数 2
1
回答
如何
使用
oozie检查
文件
是否
存在
于
HDFS
位置?
hadoop
、
oozie
、
hadoop2
、
cloudera-cdh
、
oozie-coordinator
如何
使用
Oozie检查
HDFS
位置
中
的
文件
是否
存在
?但是,
如何
验证
HDFS
中
是否
存在
浏览 3
提问于2016-08-19
得票数 6
回答已采纳
2
回答
Hadoop
中
的
文件
id
java
、
eclipse
、
hadoop
、
mapreduce
、
hdfs
我想存储从
HDFS
处理的
文件
的一些信息。在存储在
HDFS
中
的
文件
的
java
程序
中
,读取
文件
位置和字节偏移的最合适方法是什么? 保
存在
Hadoop 1
中
的每个
文件
是否
都有一个唯一的
文件
id的概念?如果是,那么
如何
在MapReduce程序
中
获取它?
浏览 2
提问于2014-11-21
得票数 1
回答已采纳
3
回答
正在从
HDFS
读取数据-我的程序找不到路径
java
、
hadoop
、
file-io
我正在尝试从
HDFS
中
读取
文件
的内容。bufferedReader.readLine(); } catch (IOException e) { }}
java
-cp <hadoop jar:myjar> gen.ReadFromHDFS <path> 在path
中
,我尝试直接引用目录(当我执行hadoop fs -ls时看到的),目录
浏览 0
提问于2014-07-28
得票数 2
1
回答
HDFS
配置&用户目录用于什么?
hadoop
、
hdfs
在本教程之后,我将首先格式化一个NameNode -- OK,如果您
使用
cloudera图像,这已经完成了。同样,
HDFS
文件
结构已经
存在
。在配置
文件
中
,包含了NameNode的URI --到目前为止我是正确的吗?因此,回到示例:比方说,我有磁带,希望将数据导入
HDFS
(而且我需要将数据流到
文件
系统
中
,因为我缺少本地存储,无法将数据本地保
存在
一台机器上)。从哪里开始迁移过程呢?在任意DataNode上?我
是
浏览 2
提问于2013-02-15
得票数 2
回答已采纳
3
回答
如何
检查Spark
中
的
HDFS
目录
是否
为空
api
、
apache-spark
、
hadoop
、
hdfs
我正在
使用
org.apache.hadoop.fs检查
HDFS
中
的目录
是否
为空。我
查找
了FileSystem应用程序接口,但我找不到任何与它相似的东西。基本上,我想检查目录
是否
为空,或者其中有多少个
文件
。val
浏览 0
提问于2019-06-19
得票数 0
1
回答
格式化本地
文件
系统
HDFS
并启动Hadoop
hadoop
、
hdfs
我正在研究OpenClassroom,并试图理解Hadoop,但是我在安装它时遇到了一些问题(我在Linux上有点新):$
hdfs
浏览 0
提问于2019-02-05
得票数 0
2
回答
如何
用
java
代码读取星火保存的
文件
apache-spark
我有一个
文件
TrainDataSpark.
java
,其中我正在处理一些数据,在它的末尾,我将我的火花处理的数据保存到一个名为预测的目录
中
,下面的代码如下所示在相同的TrainDataSpark.
java
中
,我在上面的行后面添加下面的代码部分。我认为
java
代码在我的本地系统上搜索
文件
,而不是
hdfs
集群。有什么方法可以从集群
中
浏览 0
提问于2016-12-12
得票数 0
回答已采纳
1
回答
在hadoop
文件
系统
中
查找
文件
file
、
hadoop
、
filesystems
有没有办法在hadoop中找到特定的
文件
?我知道,我可以
使用
这个:hadoop fs -find /some_directory 但是,
是否
有这样的命令:hadoop locate some_file_name
浏览 0
提问于2017-03-20
得票数 5
回答已采纳
1
回答
当
hdfs
中
存在
xlsx
文件
时,将xlsx
文件
转换为R
中
的csv
文件
r
、
hadoop
我想知道
如何
使用
R脚本将驻留在
hdfs
中
的.xlsx
文件
转换为.csv
文件
。我尝试
使用
XLConnect和xlsx包,但是它给了我错误的“
文件
找不到”,我
使用
上面的包在R脚本中提供.csv位置作为输入,我能够
使用
R脚本(read.csv())从
HDFS
读取.csv
文件
。我
是否
需要安装任何用于读取
hdfs
中
的.xlsx的新包。共享
浏览 3
提问于2016-11-24
得票数 0
1
回答
在Hive - Hbase -Integration
中
,数据是
如何
在Hive和HBase之间移动或反射的。
hadoop
、
hive
、
hbase
、
hdfs
根据我的理解,HIVE和HBASE都
使用
HDFS
来存储数据。当我们integrate HIVE and HBASE数据移动是
如何
发生的?是从HBASE到蜂巢还是从蜂箱到HBASE。
浏览 2
提问于2014-01-18
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在shell中如何判断HDFS中的文件目录是否存在
2.快速启动HBase
day07.HDFS学习大数据教程
FS Shell命令与JAVA实现操作HDFS文件
java实例集锦
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券