腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
Hadoop :为什么在RecordReader实现中使用FileSplit
在Hadoop中,考虑一个
大文件
已经加载到
hdfs
文件
系统
的场景,使用
hdfs
dfs put或
hdfs
dfs CopyFromLocal命令,
大文件
将被拆分成块(64MB)。
浏览 3
提问于2014-12-31
得票数 0
1
回答
如何对
HDFS
中的文件使用linux命令?
、
我在
HDFS
中有一个
大文件
,希望将它分成多个块。但是,该文件在
HDFS
中,我不希望(不能)将其复制到本地文件
系统
中。如何对
HDFS
中的文件直接使用拆分命令?
浏览 0
提问于2017-02-03
得票数 0
2
回答
为什么在存在
hdfs
的情况下使用hbase
、
、
、
为什么即使
hdfs
可用于存储,hadoop仍在使用hbase?数据是否存储在hbase中?如果是,那么
hdfs
将扮演什么角色?
浏览 0
提问于2015-04-27
得票数 0
2
回答
如何将
大文件
从
HDFS
上传到S3
、
、
、
在将一个
大文件
(大于5GB)从
HDFS
上传到S3时,我遇到了一个问题。有没有一种方法可以直接将文件从
HDFS
上传到S3,而无需将其下载到本地文件
系统
并使用多部分?
浏览 5
提问于2016-01-07
得票数 1
回答已采纳
3
回答
hadoop fs -text vs hadoop fs -cat vs hadoop fs -get
、
、
我相信下面所有的命令都可以用来将
hdfs
文件复制到本地文件
系统
。有什么不同/情景利弊。( Hadoop新手在这里)。hadoop fs -text /
hdfs
_dir/* >> /local_dir/localfile.txt hadoop fs -cat /
hdfs
_dir/* >> /local_dir/localfile.txthadoop fs -get /
hdfs
_dir&
浏览 0
提问于2014-09-19
得票数 2
1
回答
如何使用hadoop流和ruby映射器/缩减程序设置分布式map-reduce作业?
、
、
不过,我对分布式
系统
的行为并不清楚。另外,我如何开始实际运行流作业,以便它在两个
系统
上以并行方式运行?
浏览 2
提问于2012-04-30
得票数 0
回答已采纳
1
回答
在AWS中重命名和移动星火输出文件需要非常长的时间
、
、
、
我有一个火花作业,我有一个巨大的文件输出300 gb到S3。我的要求是重命名所有的部分文件,然后我们必须移动到最后的文件夹。因此,我想出了一个计划,从S3读取回火花输出文件,然后重命名它,然后在S3文件夹中再写一次。这对我来说太令人沮丧了。我就是这么做的。 val file = fs.globStatus(new Pat
浏览 2
提问于2018-04-11
得票数 0
3
回答
将文件示例从
hdfs
复制到本地fs?
我在
hdfs
中有一个
大文件
我想把前100行从这个位置复制到本地文件
系统
..。 而且数据非常敏感,所以我对实验有一定的抵抗力。将样本数据从
hdfs
复制到本地fs的正确方法是什么。
浏览 4
提问于2013-08-29
得票数 0
回答已采纳
5
回答
打开
HDFS
中存储的文件,以便在VI中编辑
、
、
、
我想使用VI直接在
HDFS
中编辑一个文本文件,而不必将它复制到本地,编辑它,然后从本地复制它。这个是可能的吗? 编辑:在Cloudera的Hue UI中,这曾经是可能的,但现在不再是这样了。
浏览 22
提问于2014-11-07
得票数 11
回答已采纳
1
回答
在Hive - Hbase -Integration中,数据是如何在Hive和HBase之间移动或反射的。
、
、
、
根据我的理解,HIVE和HBASE都使用
HDFS
来存储数据。当我们integrate HIVE and HBASE 数据是如何在它们之间移动的?还是说数据不会移动,只是反映出来呢?
浏览 2
提问于2014-01-18
得票数 2
回答已采纳
1
回答
FileStatus对象块大小
、
根据
HDFS
指南,对于较小的文件大小,hadoop不会分配用于通过数据节点存储文件数据的完整数据块。我正在使用FileStatus和java api进行连接,以获取与文件路径相关联的元数据信息。FileSystem fs = FileSystem.get(URI.create("
hdfs
://10.0.7.111:8020/"), conf); iterator = fs.listFiles(File :
hdfs
://10.0.7.111:8020/t1
浏览 2
提问于2014-07-07
得票数 0
1
回答
Hadoop >在Hadoop作业运行时,datanode和namenode进程是否正在运行
、
我确信当通过"
hdfs
dfs“命令将本地文件
系统
中的
大文件
加载到
HDFS
时,会使用它们。 但它是否也在Hadoop MapReduce作业运行时使用?
浏览 0
提问于2015-11-14
得票数 0
1
回答
使用
HDFS
或S3运行Spark应用程序
、
、
在我的spark应用程序中,我只想访问一个
大文件
,并将计算分布在EC2上的许多节点上。使用S3中的sc.textFile()函数加载文件对我来说非常方便。但是,我可以花一些精力将数据加载到
HDFS
,然后从那里读取数据。 我的问题是,
HDFS
的性能会更好吗?我的代码涉及spark partitions(mapPartitions transforamtion),所以我的初始文件
系统
是什么真的很重要吗?
浏览 2
提问于2015-11-08
得票数 1
1
回答
使用Delta,如何在压缩后
删除
原始文件
、
、
、
基本上,我有一个火花流工作(与增量)写一个小文件到
hdfs
每5分钟。我还有一个压缩作业,每天运行,将前一天的数据压缩到一些
大文件
中(文件的#取决于作业重新分区号)。
大文件
与原始小文件位于同一个目录中。是否有任何方法有效地
删除
原来的小文件,因为它们是无用的?spark.read() .
浏览 5
提问于2021-06-29
得票数 2
1
回答
即使输出目录不存在,但当` `saveAsTextFile`‘时,激发` `FileAlreadyExistsException`’
、
、
、
我正在运行以下命令行:然后Java8用这个main()触发作业 JavaSparkContext sc = new JavaSparkContext(sparkConf); .map (s -> new JSONObject(s)) rdd.saveAsTextFil
浏览 3
提问于2016-02-15
得票数 1
回答已采纳
2
回答
R将大型CSV文件转换为
HDFS
、
、
、
、
这将留下一个巨大的CSV文件,将其转换为
HDFS
是否有意义,以便能够进行相关分析?除了this...or之外,对每个csv文件分别进行分析,然后在最后将其合并,会更有意义吗?我在想,也许是一种分布式文件
系统
,并使用amazon上的一组机器来高效地执行分析。看看rmr ,它将数据转换成
HDFS
,但显然对于真正大的data...how来说这并不令人惊讶,人们会以一种允许高效分析的方式转换csv吗?
浏览 7
提问于2015-02-14
得票数 0
2
回答
如何理解"hadoop有利于顺序数据访问“
我试着比较一下在本地文件
系统
和
HDFS
之间编写一个
大文件
的性能。结果有点让我困惑。从本地写到的时间比
HDFS
短。我不明白"Hadoop有利于顺序数据访问“的概念.
浏览 3
提问于2015-09-07
得票数 1
回答已采纳
2
回答
HBase截断表
、
、
如果我将从HBase截断表,那么1)它是否也从底层
HDFS
系统
中
删除
数据,或者它只是用
删除
标记标记数据? 2)我如何确保/验证数据也从底层
HDFS
系统
中
删除
?
浏览 0
提问于2012-05-08
得票数 2
回答已采纳
2
回答
请澄清我对Hadoop/HBase的理解
、
引擎只使用分布式附加
系统
,这意味着一旦插入数据,就不能
删除
数据。要访问数据,可以使用Mapreduce,或者
HDFS
shell和
HDFS
。 Hadoop是文件
系统
(
HDFS
)和Java
浏览 2
提问于2013-02-15
得票数 2
1
回答
hadoop t-file和datablock的关系?
我的理解是Hadoop获取一个
大文件
,并将其保存在“Datablock”块中。这些数据块是否存储在T文件中?数据块和T文件之间的关系是1-1吗?
浏览 1
提问于2012-04-21
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
案例:HDFS分布式文件系统
设计一个大文件存储系统
Hadoop分布式文件系统(HDFS)基础概念讲解
架构入门必看,分布式文件系统HDFS解读
【大数据】Hive 小文件治理和 HDFS 数据平衡讲解
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券