腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
Hadoop :为什么在RecordReader实现中使用FileSplit
hadoop
在Hadoop中,考虑一个
大文件
已经加载到
hdfs
文件
系统
的场景,使用
hdfs
dfs put或
hdfs
dfs CopyFromLocal命令,
大文件
将被拆分成块(64MB)。
浏览 3
提问于2014-12-31
得票数 0
1
回答
如何对
HDFS
中的文件使用linux命令?
hadoop
、
hdfs
我在
HDFS
中有一个
大文件
,希望将它分成多个块。但是,该文件在
HDFS
中,我不希望(不能)将其复制到本地文件
系统
中。如何对
HDFS
中的文件直接使用拆分命令?
浏览 0
提问于2017-02-03
得票数 0
2
回答
为什么在存在
hdfs
的情况下使用hbase
hadoop
、
hadoop-streaming
、
hadoop2
、
hadoop-partitioning
为什么即使
hdfs
可用于存储,hadoop仍在使用hbase?数据是否存储在hbase中?如果是,那么
hdfs
将扮演什么角色?
浏览 0
提问于2015-04-27
得票数 0
2
回答
如何将
大文件
从
HDFS
上传到S3
hadoop
、
amazon-web-services
、
amazon-s3
、
hdfs
在将一个
大文件
(大于5GB)从
HDFS
上传到S3时,我遇到了一个问题。有没有一种方法可以直接将文件从
HDFS
上传到S3,而无需将其下载到本地文件
系统
并使用多部分?
浏览 5
提问于2016-01-07
得票数 1
回答已采纳
3
回答
hadoop fs -text vs hadoop fs -cat vs hadoop fs -get
file
、
hadoop
、
hdfs
我相信下面所有的命令都可以用来将
hdfs
文件复制到本地文件
系统
。有什么不同/情景利弊。( Hadoop新手在这里)。hadoop fs -text /
hdfs
_dir/* >> /local_dir/localfile.txt hadoop fs -cat /
hdfs
_dir/* >> /local_dir/localfile.txthadoop fs -get /
hdfs
_dir&
浏览 0
提问于2014-09-19
得票数 2
1
回答
如何使用hadoop流和ruby映射器/缩减程序设置分布式map-reduce作业?
ruby
、
hadoop
、
hadoop-streaming
不过,我对分布式
系统
的行为并不清楚。另外,我如何开始实际运行流作业,以便它在两个
系统
上以并行方式运行?
浏览 2
提问于2012-04-30
得票数 0
回答已采纳
1
回答
fs.s3.buffer.dir中临时文件的累积
hadoop
、
amazon-web-services
、
amazon-s3
、
amazon-ec2
、
hive
我正在使用s3运行EC2集群(s3://文件
系统
)。在这里,当我运行任何hive查询或对非常大的数据进行操作的hadoop命令时,它会在将临时文件复制到s3之前/之后将它们复制到节点上的本地磁盘上。
浏览 0
提问于2015-11-24
得票数 0
3
回答
将文件示例从
hdfs
复制到本地fs?
hadoop
我在
hdfs
中有一个
大文件
我想把前100行从这个位置复制到本地文件
系统
..。 而且数据非常敏感,所以我对实验有一定的抵抗力。将样本数据从
hdfs
复制到本地fs的正确方法是什么。
浏览 4
提问于2013-08-29
得票数 0
回答已采纳
1
回答
在Hive - Hbase -Integration中,数据是如何在Hive和HBase之间移动或反射的。
hadoop
、
hive
、
hbase
、
hdfs
根据我的理解,HIVE和HBASE都使用
HDFS
来存储数据。当我们integrate HIVE and HBASE 数据是如何在它们之间移动的?还是说数据不会移动,只是反映出来呢?
浏览 2
提问于2014-01-18
得票数 2
回答已采纳
1
回答
FileStatus对象块大小
hadoop
、
hdfs
根据
HDFS
指南,对于较小的文件大小,hadoop不会分配用于通过数据节点存储文件数据的完整数据块。我正在使用FileStatus和java api进行连接,以获取与文件路径相关联的元数据信息。FileSystem fs = FileSystem.get(URI.create("
hdfs
://10.0.7.111:8020/"), conf); iterator = fs.listFiles(File :
hdfs
://10.0.7.111:8020/t1
浏览 2
提问于2014-07-07
得票数 0
1
回答
Hadoop >在Hadoop作业运行时,datanode和namenode进程是否正在运行
hadoop
、
hdfs
我确信当通过"
hdfs
dfs“命令将本地文件
系统
中的
大文件
加载到
HDFS
时,会使用它们。 但它是否也在Hadoop MapReduce作业运行时使用?
浏览 0
提问于2015-11-14
得票数 0
1
回答
使用
HDFS
或S3运行Spark应用程序
amazon-s3
、
apache-spark
、
hdfs
在我的spark应用程序中,我只想访问一个
大文件
,并将计算分布在EC2上的许多节点上。使用S3中的sc.textFile()函数加载文件对我来说非常方便。但是,我可以花一些精力将数据加载到
HDFS
,然后从那里读取数据。 我的问题是,
HDFS
的性能会更好吗?我的代码涉及spark partitions(mapPartitions transforamtion),所以我的初始文件
系统
是什么真的很重要吗?
浏览 2
提问于2015-11-08
得票数 1
2
回答
水槽
HDFS
接收器不断滚动小文件
hadoop
、
hdfs
、
twitter4j
、
cloudera
、
flume
我正在尝试使用flume将twitter数据流到
hdfs
中,下面是:TwitterAgent.sinks.
HDFS
.type =
hdfs
Twi
浏览 5
提问于2014-03-03
得票数 2
回答已采纳
2
回答
R将大型CSV文件转换为
HDFS
r
、
csv
、
hadoop
、
hdfs
、
rhadoop
这将留下一个巨大的CSV文件,将其转换为
HDFS
是否有意义,以便能够进行相关分析?除了this...or之外,对每个csv文件分别进行分析,然后在最后将其合并,会更有意义吗?我在想,也许是一种分布式文件
系统
,并使用amazon上的一组机器来高效地执行分析。看看rmr ,它将数据转换成
HDFS
,但显然对于真正大的data...how来说这并不令人惊讶,人们会以一种允许高效分析的方式转换csv吗?
浏览 7
提问于2015-02-14
得票数 0
2
回答
如何理解"hadoop有利于顺序数据访问“
hadoop
我试着比较一下在本地文件
系统
和
HDFS
之间编写一个
大文件
的性能。结果有点让我困惑。从本地写到的时间比
HDFS
短。我不明白"Hadoop有利于顺序数据访问“的概念.
浏览 3
提问于2015-09-07
得票数 1
回答已采纳
1
回答
hadoop t-file和datablock的关系?
hadoop
我的理解是Hadoop获取一个
大文件
,并将其保存在“Datablock”块中。这些数据块是否存储在T文件中?数据块和T文件之间的关系是1-1吗?
浏览 1
提问于2012-04-21
得票数 0
1
回答
在本文的上下文中,“数据的本地缓存”意味着什么?
hadoop
、
hdfs
从下面的文本- ()段落中,它提到顺序可读的
大文件
不适合本地缓存。但我不明白这里的地方意味着什么..。我认为有两个假设:一个是来自
HDFS
的客户端缓存数据,另一个是datanode缓存其本地文件
系统
中的
hdfs
数据,或者是客户机可以快速访问的内存。有谁能解释得更多吗?非常感谢。特别是: 使用
HDFS
的应用程序被假定执行长时间的连续流读取文件。
HDFS
被优化以提供流读取性能;这是以牺牲对文件中任意位置的随机查找时间为代价的。由于文件大小大以及读取的顺序性,
系统
没有提供一种
浏览 3
提问于2012-04-11
得票数 3
回答已采纳
2
回答
在hadoop中保存和访问表状数据结构
hadoop
、
data-structures
、
mapreduce
、
hdfs
、
bigdata
我想用MapReduce编程在
HDFS
中保存和访问一个类似于数据结构的表。此DS的一部分如下图所示。此DS有数万列和数百行,所有节点都应该可以访问它。谢谢。
浏览 2
提问于2016-10-04
得票数 0
1
回答
用Dask从文件
系统
/S3中并行读取文件块?
distributed-computing
、
dask
我正在整理一个概念证明,在分布式环境中,我希望使用PyCuda来处理字符数据的
大文件
(每个任务在一个文件中~8GB)- AWS是具体的。我知道
HDFS
将分割数据文件并将其分发给工作人员,但我正在尽量保持环境的简单性,如果不必安装Hadoop,我宁愿不必安装Hadoop。鉴于上述段落和Dask框架,当前对文件
系统
的建议是什么?我是继续使用
HDFS
,还是有更好/更简单的解决方案?
浏览 2
提问于2016-05-16
得票数 3
回答已采纳
1
回答
是否允许通过合并或重新分区来合并
HDFS
中的小文件(但合并后会很大)?
apache-spark
、
hadoop
、
pyspark
、
apache-spark-sql
、
hdfs
我正在使用
HDFS
-接收器-连接器来使用Kafka的数据进入
HDFS
。这个目录是按日期创建的;所以我想通过每天的批处理将许多小文件合并到一个
大文件
中是很棒的。(我预计
HDFS
将自动将一个
大文件
分割成块大小。)
HDFS
是否允许90~100 be?我不需要担心吗?有人能告诉我是否有合并小型<em
浏览 7
提问于2022-03-22
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
案例:HDFS分布式文件系统
设计一个大文件存储系统
windows系统怎么查看密钥
Hadoop分布式文件系统(HDFS)基础概念讲解
架构入门必看,分布式文件系统HDFS解读
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券