专栏首页BigData_Flinkspark-yarn-cluster任务提交方式Logs出现Fails且无法访问

spark-yarn-cluster任务提交方式Logs出现Fails且无法访问

A1 原因

  1. 提交方式:注意用yarn-cluster提交方式的命令
  2. 日志没有收集

A2 解决

  1. 用yarn-cluster提交方式的命令命令:./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-2.4.6.jar 10 或者 ./spark-submit --master yarn-cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-2.4.6.jar 10
  2. 配置文件中:yarn-site.xml 和 mapred-site.xml 中的节点配置是哪个节点则就在哪个节点中启动日志命令。mr-jobhistory-daemon.sh start historyserver 如下面需都是node03,保持一致,同时在node03节点运行命令:mr-jobhistory-daemon.sh start historyserver yarn-site.xml中:
<property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
</property>
<property>
        <name>yarn.log.server.url</name>
        <value>http://node03:19888/jobhistory/logs</value>
</property>
<property>
       <name>yarn.nodemanager.remote-app-log-dir</name>
       <value>/tmp/logs</value>
</property>

mapred-site.xml中

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node03:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node03:19888</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/history/done</value>
    </property>
<!-- 正在运行的任务信息临时目录 -->
    <property>
        <name>mapreduce.jobhistory.intermediate.done-dir</name>
        <value>/history/done/done_intermediate</value>
    </property>

A3 相关

spark的任务提交方式 submit命令。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spark 查看某个正在执行的或已结束的任务中executor与driver日志

    如果运行在 YARN 模式,可以在 ResourceManager 节点的 WEB UI 页面根据 任务状态、用户名 或者 applicationId Sear...

    大鹅
  • 在Hadoop YARN群集之上安装,配置和运行Spark

    Spark是一种通用的集群计算系统。它可以在从单个节点到数千个分布式节点的集群上部署和运行并行应用程序。Spark最初设计用于运行Scala应用程序,但也支持J...

    Techeek
  • Yarn模式下的监控界面介绍

    有yarn-client和yarn-cluster两种模式,主要区别在于:Driver程序的运行节点不同。

    木野归郎
  • Spark on YARN基础

    不管使用哪种模式,Spark应用程序的代码是一模一样的,只需要在提交的时候通过--master参数来指定我们的运行模式即可

    sparkle123
  • 让Spark运行在YARN上(Spark on YARN)

    天策
  • 2020年最新Spark企业级面试题【上】

    现在距离2021年还有不到一个月的时间了,是不是有的小伙明年不知该怎么复习spark,以及不知道该备战企业中会问到那些问题。好今天他来了总结了...

    大数据老哥
  • Zzreal的大数据笔记-SparkDay03

    Spark的运行模式 ? Spark的运行模式多种多样,灵活多变,部署在单机上时,既可以用本地模式运行,也可以用伪分布模式运行,而当以分布式集群的方式部署时,也...

    企鹅号小编
  • 大数据基础:Spark工作原理及基础概念

    导语 | Apache Spark 是专为大规模数据处理而设计的快速通用计算引擎,在数据挖掘和机器学习领域有着广泛的应用,现在也已形成一个高速发展、应用广泛的生...

    腾小云
  • Spark快速入门系列(3) | 简单一文了解Spark核心概念

    Spark 特有资源调度系统的 Leader。掌管着整个集群的资源信息,类似于 Yarn 框架中的 ResourceManager,主要功能:

    不温卜火

扫码关注云+社区

领取腾讯云代金券