专栏首页梅花的学习记录Yarn 的日志聚集功能配置使用

Yarn 的日志聚集功能配置使用

需要 hadoop 的安装目录/etc/hadoop/yarn-site.xml 中进行配置

配置内容

  <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
     </property>

     <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>640800</value>
     </property>

配置好了之后 需要重新启动 nodemanager resourcemanager historyserver 才可以生效

重新启动之后,在Hadoop上面使用yarn 运行wordcount程序

命令:

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/zuoyan/mapreduce/wordcount/input/ /user/zuoyan/mapreduce/wordcount/output2

打开Hadoop的任务管理界面的日志信息

就可以看到,日志已经可以打印出来了

使用这种的好处 省去了以后去找日志信息查看的麻烦问题,能够比较直观的查看到错误信息!

这样Yarn的日志聚集功能就已经配置好了!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【Hadoop 分布式部署 十:配置HDFS 的HA、启动HA中的各个守护进程】

    官方参考 配置 地址 :http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdf...

    梅花
  • 【Hadoop 分布式部署 三:基于Hadoop 2.x 伪分布式部署进行修改配置文件】

    首先在 hadoop-senior 的这台主机上 进行 解压 hadoop2.5 按照伪分布式的配置文件来进行配置

    梅花
  • Anaconda使用命令

    参考的地址:https://zhuanlan.zhihu.com/p/32925500

    梅花
  • HDFS和MR的配置和使用

    ①在$HADOOP_HOME/etc/hadoop/core-site.xml文件

    爱学习的孙小白
  • 手把手教你在腾讯云上搭建hadoop3.x伪集群的方法

    /home/centos/software/hadoop-3.1.3.tar.gz

    砸漏
  • YARN之label调度在EMR中的应用

    在腾讯云EMR的用户场景使用当中,有部分用户要求希望他们能在任务高峰期,对集群进行扩容,利用云端的弹性计算资源,为集群扩展计算能力,并且在集群相对空闲的情况下,...

    shangwen_
  • 原 Spark On Yarn完全分布式搭

    云飞扬
  • 一文读懂Hadoop、HBase、Hive、Spark分布式系统架构

    机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用户分布式存储和map-reduce计算,spark用于分布式机器学习,hive是分布...

    用户1257215
  • 搭建Hadoop3集群

    强烈建议再搭建hadoop集群之前体验一下单机模式和伪分布式模式的搭建过程,可以参考以下链接:

    职场亮哥
  • Cypress web自动化37-cy.wrap() 操作 iframe 上的元素

    iframe 是一种常见的 web 页面上遇到的场景,像有些网站的登录就是放到 iframe 里面的。 cypress 如何处理 iframe 上的元素呢,cy...

    上海-悠悠

扫码关注云+社区

领取腾讯云代金券