在具有HA功能的Hadoop Yarn集群上部署Apache Spark
在具有HA功能的Hadoop Yarn集群上部署Apache Spark
提问于 2016-03-23 14:13:55
我是大数据环境的新手，刚开始使用Zookeeper安装具有HA功能的3节点Hadoop集群2.6。
现在一切运行正常，我已经在NN1和NN2上使用zookeeper测试了故障转移场景，并且运行良好。
现在我正在考虑在我的Hadoop Yarn集群上安装Apache Spark，同样具有HA功能。
有人能指导我安装步骤吗？我只能找到如何将Spark设置为独立模式，并且我已经成功设置了它。现在我想在Yarn集群中安装相同的软件以及HA功能，
我有三个节点集群(NN1、NN2、DN1)，下面的守护进程当前在每个服务器上运行，
Nodes running in Master NameNode (NN1)
Jps
DataNode
DFSZKFailoverController
JournalNode
ResourceManager
NameNode
QuorumPeerMain
NodeManager
Nodes running in StandBy NameNode (NN2)
Jps
DFSZKFailoverController
NameNode
QuorumPeerMain
NodeManager
JournalNode
DataNode
Nodes running in DataNode (DN1)
QuorumPeerMain
Jps
DataNode
JournalNode
NodeManager 回答 2
Stack Overflow用户
发布于 2016-03-23 15:33:15
您应该设置ResourceManager HA (http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html)。Spark when run on YARN不会运行自己的守护进程，因此在YARN模式下没有需要HA的spark部分。
Stack Overflow用户
发布于 2016-03-23 18:44:47
您可以配置Spark Yarn模式，在Yarn模式下，您可以根据集群容量配置驱动程序和执行器。
spark.executor.memory <value>执行器的数量是根据你的纱线容器内存分配的！
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/36171005
复制相关文章
相似问题
腾讯云开发者
