我刚刚完成向hadoop(2.3)集群添加新节点，该集群也有hbase v0.98。添加后，在hadoop和hbase中的所有节点都在线，
怎
浏览 11提问于2014-05-15得票数 18
我正在尝试一个小型hadoop设置(用于实验)，只有2台机器。我正在加载大约13 39的数据，一个大约有3900万行的表，使用Hive的复制因子为1。我的问题是hadoop总是将所有这些数据存储在单个datanode上。只有当我使用setrep将dfs_replication加法器更改为2时，hadoop才会在另一个节点上复制数据。我还尝试了平衡器($HADOOP_HOME/bin/start-balancer.sh -thresh
浏览 0提问于2010-07-06得票数 1
1回答
例如，当Spark应用程序从HDFS读取数据时，Hadoop的分区方法是从FileInputFormat ( MapReduce )继承而来的，这受HDFS块的大小、mapred.min.split.size值和压缩方法等因素的影响。
屏幕截图中的任务花了7，7，4秒，我想让它们平衡。另外，这个阶段被分成三个任务，有什么方法可以指定分区/任务的数量吗？
浏览 4提问于2017-08-21得票数 0
1回答
我在Hadoop中有一个多节点集群，由两台机器组成(每台机器中有一个名称节点和两个数据节点)。我正在使用：在上面的命令中:数据是分布在两台机器上还是只分布在一台机器上？平衡的方法是什么:是使用hadoop平衡器工具，还是有一种自动的方法？
浏览 2提问于2017-03-25得票数 0
问题是:我在创建集群时有3个数据节点，几天前我又添加了两个数据节点。谁能告诉我可能的原因是什么？也许我对这个问题的描述不是很清楚，我会给你看两张照片(来自zabbix)，hadoop-0
浏览 0提问于2016-05-12得票数 3
我正在尝试通过在hdfs-site.xml的dfs.name.dir中添加卷的位置来向Hadoop伪分布式节点添加新卷，并且我可以在此位置看到锁定文件-但是尽管我尽我所能地尝试，但当我加载文件(使用配置单元)时，似乎很少使用这些位置(即使锁定文件和一些子文件夹出现...因此，Hadoop显然可以访问它们)。1889807000233475717/-ext-10000/test.csv could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop
浏览 1提问于2011-02-25得票数 1
我正在尝试一个小的hadoop设置(用于实验)，只有2台机器。我加载了大约13 39的数据，一个大约有3900万行的表，使用Hive的复制因子为1。我的问题是hadoop总是将所有这些数据存储在单个datanode上。只有当我使用setrep将dfs_replication因子更改为2时，hadoop才会在另一个节点上复制数据。我也试过平衡器($HADOOP_HOME/bin/start-balancer.sh -threshold
浏览 1提问于2010-07-06得票数 0
我读了Hadoop 3 ，上面写着这个工具不同于，后者负责集群范围内的数据平衡。“你能解释一下是什么吗？
谢谢!
浏览 4提问于2020-07-31得票数 0
回答已采纳
1回答
我正在自学Hadoop和模型。我试图理解--它是核心元素：--我试图将下面的每个元素与下面的特性匹配起来：
-分组，将计算移到数据，帮助处理复制阶段瓶颈，负载，平衡，数据过滤，全局计算。我的理解是:减速器-->全局计算，组合-->分组，洗牌和排序(将数据从映射器移动到减法器的过程)->将计算移到数据中。Mapper->(<em
浏览 1提问于2018-11-06得票数 0
我将数据存储在HDFS的数据节点中。
我想使用两个数据节点存储具有平衡的数据。但是当我使用CLI (hadoop fs -put)时，我只存储了一个数据节点。有没有人有一个解决方案，我怎样才能将数据准确地存储为两个独立的数据？
浏览 1提问于2013-02-06得票数 1
我有一个具有复制因子= 3的三节点hadoop集群。每个数据节点系统的硬盘容量为221 of。HDFS的有效数据为62 of，replication 62*3= 186 of。现在的问题是，尽管660 GB集群上只有186 GB的数据，但我仍然缺乏存储空间: HDFS显示了在可用空间上的巨大差异：datanode2 =17.7GB
datanode3&#
浏览 6提问于2012-09-18得票数 1
如果我将数据从本地系统复制到HDFS，с是否可以确保数据均匀分布在节点上？
PS HDFS保证每个块将存储在3个不同的节点上。但这是否意味着我的文件的所有块都将在相同的3个节点上排序？或者HDFS会为每个新数据块随机选择它们？
浏览 1提问于2011-02-21得票数 6
回答已采纳
1回答
如何在hadoop环境中实现负载平衡。我刚刚开始阅读有关hadoop的相关内容。想知道负载平衡在整个生态系统中是如何工作的。
浏览 3提问于2016-03-16得票数 0
回答已采纳
1回答
我计划在Hadoop集群的帮助下平衡注册和邀请FreeSWITCH的任务负载，所以我的问题如下：
我想知道是否可以为现有的Hadoop集群部署FreeSWITCH。对于FreeSWITCH的负载平衡还有其他解决方案吗？PS:我的Hadoop集群由vmware构建在虚拟mathine上，操作系统是Ubuntu 14.04、Hadoop-2.6、HBase-0.98、动物园管理员-3.6、FreeSWITCH-1.4.14
浏览 2提问于2015-04-15得票数 0
1回答
不工作在hdfs HA中的平衡器
、、、、
当我试图运行平衡器时：HADOOP_USER_NAME=hdfs hdfs balancer -fs hdfs://hdpjava.io.IOException:另一个平衡器正在运行o
浏览 1提问于2016-04-20得票数 0
回答已采纳
环境集群中机器数量:2个节点DFS块大小: 1MBConfigured Capacity: 4621738717184 (4.2 TB)
Present Capacity: 200828112
浏览 1提问于2014-07-18得票数 0
谁能澄清一下，当一个额外的数据节点添加到集群中时，现有hadoop集群中已经存在的数据会发生什么情况。是否会在新节点上自动重新平衡现有数据？
浏览 0提问于2014-04-28得票数 1
1回答
上下文：观察：
对我来说，这看起来像是Hadoop的工作，但人们提出了一些担忧(和盾牌)，主要是速度问题。我没有时间对两者进行基准测试，但我们希望通过队列注入大量数据(10~100mb/s附近
浏览 0提问于2012-05-02得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
