1回答
Hadoop返回的文件大小是否包含复制因子？
hadoop、hdfs
我的文件存储在HDFS上，我需要得到它的大小。我在命令提示符下使用以下行来获取文件大小 hadoop fs -du -s train.csv | awk '{{s+=$1}} END {{printf s}} 我知道Hadoop存储由复制因素决定的文件副本那么，当我运行上面的代码行时，返回的大小是文件大小时间，还是仅仅是文件大小？
浏览 32提问于2019-02-20得票数 0
2回答
是否会在Hadoop群集的所有节点上复制配置组表
hadoop、hive、hiveql
当我创建配置单元表时，是否会在Hadoop群集的所有节点上创建该表？当我将数据加载到表中时，数据是否会跨所有这些节点进行复制？
我猜是吧？
浏览 1提问于2015-09-15得票数 0
2回答
更改hadoop中的复制因子
hadoop、hdfs
我正在用hadoop做一些实验。为此，我必须尝试一些配置选项，如块的大小和复制因子。对于复制因素，我尝试了以下命令：其中"input“是我想要更改其复制因子的文件，而$var表示我想要的复制因子
浏览 0提问于2015-11-12得票数 0
1回答
如何使hadoop复制因子对文件进行持久更改
hadoop、replication
我有一个关于hadoop复制的问题。我使用下面提到的命令更改了hadoop中特定目录中文件的复制因子：它成功地将此目录中所有文件的复制因子设置为3。但是，在此目录下写入的任何新文件仍然具有默认复制因子，即2。
是否</
浏览 13提问于2013-05-29得票数 1
2回答
Python提供不正确的文件大小。
python、hadoop、hdfs、python-3.5、webhdfs
我正在尝试使用python3.5和hdfs库从hdfs获取文件的大小。directoryCount': 0, 'spaceConsumed': 103566, 'length': 34522, 'quota': -1, 'fileCount': 1}但是当我看到http://hostName:50070/explorer.html#/path/to/file
浏览 2提问于2016-03-28得票数 1
回答已采纳
1回答
hadoop的copyFromLocal中的复制是如何处理的？与复制因子= 1相比，如果复制因子>1，copyFromLocal是否会变慢？
浏览 1提问于2015-03-26得票数 0
1回答
CDH HDFS节点分解永不结束
hadoop、hdfs、cloudera-cdh、fsck
我们有一个12台服务器hadoop集群(CDH)，最近，我们想让其中的3台服务器退役，但是这个过程已经在那里运行了超过2天。但是它永远不会结束，特别是在过去的24小时里，我看到在三个数据节点上只有94G的数据，但是在过去的24小时里，大小似乎没有变化。即使通过下面复制的块数已经为零。对于hdfs中的所有数据，复制因子为3。下面的是hadoop命令的结果：
总大小: 57895341
浏览 3提问于2016-10-17得票数 0
回答已采纳
1回答
HDFS块存储
hdfs、hadoop2
1)我有一个包含2个数据阳极的hdp簇。但是hdfs的复制因子是3。在这种情况下，第三个复制块存储在哪里？2)如果我在hdfs中上传一个文件(复制因子为3)，额外副本)
在名称节点中，但是是否有一个命令为我提供该信息)？
浏览 0提问于2018-10-23得票数 0
回答已采纳
1回答
假设默认情况下复制因子为3，我想知道如果我们将复制因子修改为2，是否需要重新启动hadoop守护进程以使更改生效？
如果是这样的话，是否有甚麽具体的原因呢？另一方面，如果不需要重新启动hadoop集群就可以应用配置，那么会出现什么样的问题？
浏览 2提问于2014-09-29得票数 4
1回答
如何在运行copyFromLocal命令时更改复制因子？
hadoop、hdfs
我不问如何在hadoop中为文件夹/文件设置复制因子。我知道下面的命令对于现有的文件和文件夹是完美无缺的。hadoop fs -setrep -R -w 3 <folder-path>hadoop fs -copyFromLocal <src> <dest>
浏览 3提问于2015-06-03得票数 2
回答已采纳
1回答
HDFS -每分钟100 MB文件的数据块大小和复制
hadoop、hdfs
如何知道hadoop HDFS的最佳数据块大小？例如，如果我有固定大小为每分钟100MB的文件，那么HDFS用于存储的理想数据块大小是多少? 64MB？我应该考虑存储这个文件的速度小于1分钟吗？在这种情况下，哪种复制因子是最好的?2还是3？
浏览 0提问于2020-04-19得票数 0
3回答
复制因子
hadoop、replication
我是Hadoop的新手，我想了解如何确定在任何给定集群中我们可以拥有的最高复制因子。我知道默认设置是3个副本，但是如果我有一个具有5个节点的集群，那么在这种情况下，我可以使用的最高复制因子是什么。是否有我们必须遵循的公式来确定复制因子？
谢谢
浏览 2提问于2013-10-03得票数 2
回答已采纳
2回答
hadoop:更改特定块的复制因子，而不是文件的复制因子
hadoop、replication-factor
是否可以更改文件的特定数据块的复制系数，而不是更改文件(所有数据块)的复制系数？我是Hadoop新手，但我知道我们可以通过以下方式更改文件的复制因子
2.using the
浏览 27提问于2017-05-27得票数 0
1回答
容器分配在Hadoop集群中的容器大小
hadoop、mapreduce、containers
如我们所知，默认的最小容器大小是1024MB我已经在虚拟盒中设置了一个Hadoop集群<1-Master & 3-Datanodes>。输入文件大小：500MB和复制因子3 (所有具有所有块的节点)
2.是否可以指定在特定节点上运行的作业？
浏览 0提问于2018-02-24得票数 0
5回答
如何检索Hdfs文件中的复制因子信息？
hadoop、replication、hadoop2
我已经为我的文件设置了如下复制因子：当NameNode重新启动时，它会确保复制复制不足的数据块因此，文件的复制信息被存储(可能存储在nameNode中)。我怎样才能获得这些信息呢？
浏览 0提问于2014-08-07得票数 13
1回答
HDFS我可以指定每个文件的复制因子来增加均衡性吗？
hadoop、hdfs
我是HDFS的新手，如果我的问题如此天真，我很抱歉。
假设我们将文件存储在Hadoop集群中。有些文件非常受欢迎，并且会经常被请求(但不是经常将它们放在内存中)。保留更多的文件副本(副本)是值得的。
浏览 4提问于2016-05-09得票数 0
回答已采纳
2回答
HDFS复制系数更改
hdfs
如果群集中的复制因子发生更改，例如从5更改为3，并且重新启动群集，则旧文件块会发生什么情况？它们是否会被视为过度复制并被删除，或者复制因素仅适用于新文件？这意味着旧文件块被复制5次，而新文件块(在重启之后)被复制3次。如果集群没有重启，会发生什么情况？
浏览 2提问于2013-06-13得票数 7
1回答
Hadoop 3:如何配置/启用擦除编码？
hadoop、hdfs、bigdata、hadoop3、erasure-code
我正在尝试安装Hadoop 3集群。
还需要将复制因子设置为3吗？请说明与擦除编码/复制相关的配置属性，以便获得与Hadoop 2(复制因子3)相同的数据安全性，但具有Hadoop 3擦除编码的磁盘空间好处(仅50%的开销而不是200%)。
浏览 3提问于2018-07-23得票数 1
回答已采纳
7回答
当我将文件存储在HDFS中时，它们会被复制吗？
hadoop、hdfs
我是刚认识Hadoop的。复制因子为3。，我的问题是：是否需要3份拷贝，并将它们存储在每个节点上？
浏览 3提问于2013-11-21得票数 4
1回答
HDFS:上传后不分发文件
hadoop、hdfs
我已经在8节点集群上部署了hadoop (0.20.203.0rc1)。在将文件上传到hdfs之后，我只在其中一个节点上获得了这个文件，而不是均匀地分布在所有节点上。问题可能是什么？$HADOOP_HOME/bin/hadoop dfs -copyFromLocal ../data/rmat-20.0 /user/frolo/input/rmat-20.0
$HADOOP_HOME/bin/hadoop
浏览 3提问于2014-02-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
