专栏首页专注研发YARN的基础配置

YARN的基础配置

基于HADOOP3.0+Centos7.0的yarn基础配置;
执行步骤:(1)配置集群yarn (2)启动、测试集群(3)在yarn上执行wordcount案例

一、配置yarn集群

1.配置yarn-env.sh 

添加:export JAVA_HOME=/opt/module/jdk1.8.0_144 

  2.配置yarn-site.xml

 1 <!-- reducer获取数据的方式-->
 2 <property>
 3 <name>yarn.nodemanager.aux-services</name>
 4 <value>mapreduce_shuffle</value>
 5 </property>
 6 
 7 <!-- 指定YARN的ResourceManager的地址-->
 8 <property>
 9 <name>yarn.resourcemanager.hostname</name>
10 <value>hadoop101</value>
11 </property>
12 
13 <!--在etc/hadoop/yarn-site.xml文件中,修改检查虚拟内存的属性为false-->
14 <property>
15       <name>yarn.nodemanager.vmem-check-enabled</name>
16      <value>false</value>
17      </property>
18 
19      <!--引入hadoop路径-->
20     <property>
21     <name>yarn.application.classpath</name>
22 
23     <value>
24         /opt/hadoop-2.6.0/etc/hadoop,
25         /opt/hadoop-2.6.0/share/hadoop/common/*,
26         /opt/hadoop-2.6.0/share/hadoop/common/lib/*,
27         /opt/hadoop-2.6.0/share/hadoop/hdfs/*,
28         /opt/hadoop-2.6.0/share/hadoop/hdfs/lib/*,
29         /opt/hadoop-2.6.0/share/hadoop/mapreduce/*,
30         /opt/hadoop-2.6.0/share/hadoop/mapreduce/lib/*,
31         /opt/hadoop-2.6.0/share/hadoop/yarn/*,
32         /opt/hadoop-2.6.0/share/hadoop/yarn/lib/*
33     </value>
34      </property>

 3.配置:mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144 

4.配置mapred-site.xml

<!-- 指定mr运行在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> 
<property>
  <name>yarn.application.classpath</name>
       <value>
           /opt/hadoop-2.6.0/etc/hadoop,
            /opt/hadoop-2.6.0/share/hadoop/common/*,
            /opt/hadoop-2.6.0/share/hadoop/common/lib/*,
            /opt/hadoop-2.6.0/share/hadoop/hdfs/*,
            /opt/hadoop-2.6.0/share/hadoop/hdfs/lib/*,
           /opt/hadoop-2.6.0/share/hadoop/mapreduce/*,
           /opt/hadoop-2.6.0/share/hadoop/mapreduce/lib/*,
            /opt/hadoop-2.6.0/share/hadoop/yarn/*,
            /opt/hadoop-2.6.0/share/hadoop/yarn/lib/*
        </value>
 </property>

二、启动集群

1.启动hdfs集群(namenode+datanode) 

  2.启动yarn集群(resourceManger+nodeManager)

sbin/start-yarn.sh   or pasting

yarn --daemon start resourcemanager

yarn --daemon start nodemanager

3.jps+回车 查看进程

访问 http://192.168.1.101:8088/cluster 

三、运行案例 

1.删除文件系统上原来的output文件

hdfs dfs -rm -R /user/atguigu/output

2.执行mapreduce程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output

3.查看运行结果

hdfs dfs -cat /user/atguigu/output/* 

历史服务器配置

配置mapred-site.xml

<property>
<name>mapreduce.jobhistory.address</name>
<value>0.0.0.0:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>0.0.0.0:19888</value>
</property>

启动命令:

mapred --daemon stop historyserver
or
sbin/mr-jobhistory-daemon.sh start historyserver
访问地址: http://ip:19888/jobhistory

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • YARN调试过程中的常见问题

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount ...

    瑾诺学长
  • HDFS基础配置

    执行步骤:(1)配置集群(2)启动、测试集群增、删、查(3)执行wordcount案例

    瑾诺学长
  • MybatisPlus之-----BaseMapper

    MyBatis-Plus(简称 MP)是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发、提高效率而生

    瑾诺学长
  • hadoop完全分布式部署

    是一个框架,允许跨越计算机集群的大数据及分布式处理,使用简单的编程模型(mapreduce)

    KaliArch
  • Hadoop常用命令

    ZONGLYN
  • 使用oracle的大数据工具ODCH访问HDFS数据文件

    软件下载 Oracle Big Data Connectors:ODCH 下载地址: http://www.oracle.com/technetwork/bdc...

    cloudskyme
  • 实战CentOS系统部署Hadoop集群服务

    版权声明:本文为木偶人shaon原创文章,转载请注明原文地址,非常感谢。 https://blog...

    shaonbean
  • Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

    自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我...

    Edison Zhou
  • 保姆级教程:还愁不会搭建伪分布式吗?(其实很简单)

    在上面三篇文章我们已经把基本环境搭建好了,也进行了相应的案例演示,下面我们将进入伪分布式的环境搭建,并运行实例,建议先看上面三篇文章在进行操作。看一百遍,不如手...

    用户7656790
  • 【趣学程序】Hadoop安装运行

    GoogleFileSystem这是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。

    趣学程序-shaofeer

扫码关注云+社区

领取腾讯云代金券