在不同硬件机器中的VM之间安装hadoop集群
在不同硬件机器中的VM之间安装hadoop集群
提问于 2018-12-27 11:06:59
我负责向一群人教授Hadoop (比方说5个人)，但没有任何可用的硬件。
他们每个人都有一台笔记本电脑，有相当多的内存和处理器。
我想让他们在自己的笔记本电脑之间创建一个Hadoop集群，这个集群将连接到同一个网络。
到目前为止，我想的是：
- 创建一个具有ubuntu 16预配置的VM映像(我的选择是ubuntu 16 )，以便为集群节点做好准备
- 让他们每个人在他们的计算机上运行VM。
- 在这个VM网络上创建一个集群
然而，我有一些锁：
1/是否有可能在不同的机器上创建VM的专用网络，从而将hadoop集群与连接物理机器的网络隔离开来？
[2]这种做法可能有什么问题？
3/是否有更好的方法来处理在不同的个人机器之间设置Hadoop集群的需求？
顺便说一下，我对Hadoop的安装很满意，等等.
谢谢你的帮助，建议，.
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-12-28 03:07:32
是否有可能在不同的机器上建立一个VMs的专用网络？
是的，公司一直在用集群的虚拟机来做这件事。诚然，这些公司拥有多年从事这种网络设置的经验，并且对防火墙和路由表有一些深入的了解。
使得hadoop集群与连接物理机器的网络隔离？
没有连接所有机器的特定子网。不过，我猜每台笔记本电脑都共享同一个路由器，每个设备都有一个主机和VM之间共享的网络接口，因此创建这个接口可能会很困难。
这种做法会有什么问题呢？
您需要将至少一台机器指定为“主计算机”-- namenode和ResourceManager。没有这台机器，什么都不能用。更好的方法是使用HA部署，但是您需要“两个人”
是否有更好的方法来处理这种设置Hadoop集群的需求？
使用AWS、Azure或GCP的免费层/信用来设置集群。它可以从2-3个节点开始，而不是5个节点。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53944034
复制相关文章
相似问题
腾讯云开发者
