专栏首页LhWorld哥陪你聊算法Yarn篇--搭建yarn集群

Yarn篇--搭建yarn集群

一。前述

有了上次hadoop集群的搭建,搭建yarn就简单多了。废话不多说,直接来

二。规划

 三。配置如下

yarn-site.xml配置

 <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>//定义yarn的机制     </property> <property>    <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA    <value>true</value>  </property>  <property>    <name>yarn.resourcemanager.cluster-id</name//集群Id    <value>cluster1</value>  </property>  <property>    <name>yarn.resourcemanager.ha.rm-ids</name>//集群逻辑节点    <value>rm1,rm2</value>  </property>  <property>    <name>yarn.resourcemanager.hostname.rm1</name>//集群物理节点    <value>node03</value>  </property>  <property>    <name>yarn.resourcemanager.hostname.rm2</name>//集群物理节点    <value>node04</value>  </property>  <property>    <name>yarn.resourcemanager.zk-address</name>//与zookeeper通信    <value>node02:2181,node03:2181,node04:2181</value>  </property>

mapred-site.xm配置 <property>         <name>mapreduce.framework.name</name>//使用yran         <value>yarn</value>   </property> PS  :slaves中既是datanode配置同时也是nodemanger的配置

四。配置免密

同样需要配置resourcemange到nodemanager的免密 和两个resourcemanger的免密 五。启动顺序 养成一个好习惯,先把集群停掉,然后再添加配置,(其实不停也行)

先在node01节点上手动先启动hdfs集群start-dfs.sh node01然后再启动yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理) 然后再在node03和node04手动启动resourcemanger yarn-daemon.sh start resourcemanager

六。验证

自此集群搭建成功!!!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hive篇--搭建Hive集群

    Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样。

    LhWorld哥陪你聊算法
  • hadoop集群篇--从0到1搭建hadoop集群

    本来有套好好的集群,可是不知道为什么虚拟机镜像文件损坏,结果导致集群不能用。所以不得不重新搭套集群,借此机会顺便再重新搭套吧,顺便提醒一句大家,自己虚拟机的集群...

    LhWorld哥陪你聊算法
  • 【深度学习篇】--神经网络中的调优二,防止过拟合

    一种方式去使用TensorFlow做正则是加合适的正则项到损失函数,当一层的时候,可以如下定义:

    LhWorld哥陪你聊算法
  • java之spring之依赖注入

    1.普通属性(String 和 基本数据类型),直接通过 property 设置即可

    Vincent-yuan
  • spring配置文件详解

    spring配置文件是用于指导Spring工厂进行Bean生产、依赖关系注入(装配)及Bean实例分发的"图纸"。Java EE程序员必须学会并灵...

    用户1220053
  • Spring分布式事务实现

           分布式事务是指操作多个数据库之间的事务,spring的org.springframework.transaction.jta.JtaTransac...

    阳光岛主
  • AOP方式代码控制多数据源切换

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    suveng
  • shiro基础配置

    <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework...

    用户5640963
  • 在CentOS 6.9中搭建Hadoop

    修改Hadoop配置文件, Hadoop配置文件在 etc/hadoop 目录下

    北漂的我
  • Hadoop集群配置

    俺也想起舞

扫码关注云+社区

领取腾讯云代金券