专栏首页专注研发YARN调试过程中的常见问题

YARN调试过程中的常见问题

执行操作:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount  /user/today/input  /user/today/output

报错:

错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

解决:

在mapred-site.xml 和 yarn-site.xml添加如下

<property>
    <name>yarn.application.classpath</name>
    <value>
        /opt/hadoop-2.6.0/etc/hadoop,
        /opt/hadoop-2.6.0/share/hadoop/common/*,
        /opt/hadoop-2.6.0/share/hadoop/common/lib/*,
        /opt/hadoop-2.6.0/share/hadoop/hdfs/*,
        /opt/hadoop-2.6.0/share/hadoop/hdfs/lib/*,
        /opt/hadoop-2.6.0/share/hadoop/mapreduce/*,
        /opt/hadoop-2.6.0/share/hadoop/mapreduce/lib/*,
        /opt/hadoop-2.6.0/share/hadoop/yarn/*,
        /opt/hadoop-2.6.0/share/hadoop/yarn/lib/*
    </value>
  </property>

报错:

INFO mapreduce.Job: Task Id : attempt_1533612124021_0001_m_000000_2, Status : FAILED

Container [……] is running 482732544B beyond the 'VIRTUAL' memory limit. Current usage: 34.4 MB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory used. Killing container.

解决:

在etc/hadoop/yarn-site.xml文件中,修改检查虚拟内存的属性为false

<property>

    <name>yarn.nodemanager.vmem-check-enabled</name>

    <value>false</value>

</property>

执行成功

web页面 ip:8088

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • YARN的基础配置

    添加:export JAVA_HOME=/opt/module/jdk1.8.0_144 

    瑾诺学长
  • HDFS基础配置

    执行步骤:(1)配置集群(2)启动、测试集群增、删、查(3)执行wordcount案例

    瑾诺学长
  • poj-1008-玛雅历

    上周末,M.A. Ya教授对古老的玛雅有了一个重大发现。从一个古老的节绳(玛雅人用于记事的工具)中,教授发现玛雅人使用了一个一年有365天的叫做Haab的历法...

    瑾诺学长
  • /tmp/hadoop-hadoop-namenode.pid: Permission denied

    starting namenode, logging to /home/hadoop/hadoop-1.0.2/libexec/../logs/hadoo...

    闵开慧
  • Hadoop hdfs完全分布式搭建教程

    1、安装环境 ①、四台Linux CentOS6.7 系统   hostname                ipaddress              ...

    IT可乐
  • 【趣学程序】Hadoop安装运行

    GoogleFileSystem这是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。

    趣学程序-shaofeer
  • Hadoop(2)——HDFS(分布式文件系统)

    英文全称是The Hadoop Distributed File System官方地址http://hadoop.apache.org/docs/stable/...

    羊羽shine
  • centos7 hadoop 集群安装配置

    转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/

    董可伦
  • COS助力HADOOP轻松实现数据存储

    1.2 如何在hadoop集群上实现简单的数据处理,通过 wordcount 实现测试。

    Hunter
  • hadoop分布式集群搭建

    程序员同行者

扫码关注云+社区

领取腾讯云代金券