有没有办法将节点添加到正在运行的Hadoop集群？
有没有办法将节点添加到正在运行的Hadoop集群？
提问于 2012-10-31 21:32:27
我一直在使用Cloudera，我在开始工作之前定义了集群的数量，然后使用cloudera管理器来确保一切都在运行。
我正在做一个新项目，它使用消息队列来分发工作，而不是使用hadoop，但工作结果存储在HBase中。我可能会启动10台服务器来处理作业并存储到Hbase，但我想知道如果我后来决定再添加几个工作节点，我可以很容易(读:可编程)让它们自动连接到正在运行的集群，这样它们就可以在本地添加到集群HBase/HDFS？
回答 5
Stack Overflow用户
回答已采纳
发布于 2012-10-31 22:34:42
以下是向Hadoop和HBase添加节点的文档。查看文档，不需要重新启动群集。可以动态添加节点。
Stack Overflow用户
发布于 2012-11-01 00:03:06
以下步骤将帮助您将新节点启动到正在运行的集群中。
1> Update the /etc/hadoop/conf/slaves list with the new node-name
2> Sync the full configuration /etc/hadoop/conf to the new datanode from the Namenode. If the file system isn't shared.
2> Restart all the hadoop services on Namenode/Tasktracker and all the services on the new Datanode.
3> Verify the new datanode from the browser http://namenode:50070
4> Run the balancer script to readjust the data between the nodes. 如果您不想在添加新节点时重启NN上的服务。我建议将前面的名称添加到slaves配置文件中。因此，在它们可用之前，它们会报告为退役/死节点。遵循上述仅限DataNode的步骤。同样，这也不是最佳实践。
Stack Overflow用户
发布于 2019-03-22 14:47:07
使用CDH 5.8.5 (Hadoop 2.6)更新了Cloudera的答案-
要向群集中添加新节点，请在ClouderaManager UI上执行以下步骤：
- 单击您的群集名称。
- 转到Hosts列表。
- 在hosts页面上，单击'Add Hosts to
IP
Search‘。继续按照说明进行操作，然后继续下一步为新节点分配角色，例如，如果是数据节点，则仅分配与数据节点相关的角色，然后将您的新节点添加到您的集群中。continue.
- Finally
- 。单击Finish。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/13159184
复制相关文章
相似问题
腾讯云开发者
