首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

没有看到spark-submit的输出

spark-submit是Apache Spark中用于提交Spark应用程序的命令行工具。它将应用程序打包成一个JAR文件,并将其提交给Spark集群进行执行。当我们在终端中运行spark-submit命令时,它会将应用程序的代码和依赖项上传到集群中,并启动应用程序的执行。

如果没有看到spark-submit的输出,可能有以下几个原因:

  1. 应用程序执行失败:如果应用程序在执行过程中发生错误或异常,spark-submit可能不会产生任何输出。这可能是由于代码错误、依赖项问题或集群配置错误等原因导致的。在这种情况下,我们需要检查应用程序的日志或错误信息来找出问题所在。
  2. 日志级别设置:spark-submit的输出可能被设置为较低的日志级别,例如WARN或ERROR。这意味着只有警告或错误级别的日志消息才会显示在终端上。我们可以尝试调整日志级别以查看更多详细的输出。
  3. 配置问题:spark-submit的输出也可能受到Spark集群的配置影响。如果集群的配置不正确或不完整,可能会导致输出不可见。在这种情况下,我们需要检查集群的配置文件和日志以解决问题。

总结起来,如果没有看到spark-submit的输出,我们应该首先检查应用程序的执行状态和日志,确保代码和依赖项没有问题。如果问题仍然存在,我们可以尝试调整日志级别或检查集群的配置。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • 【Spark on K8S】Spark里的k8s client

    目前在我们的应用下,会有这样的一种特殊的场景。比如说 Driver 创建在 A 集群,但是需要 Driver 将 Executor Pod 创建到 B 集群去。所以我们这里会有两个集群的 master url,分别是集群 A 和集群 B。那么创建任务的模式就是 spark-subtit 的 master url 指向集群 A,然后给 Driver 的 k8s client 设置其创建 Executor Pod 的 master url 指向 B,那么在现有 Spark 的参数下,能否直接通过 SparkConf 或者环境变量来实现这一点呢?我们看看源码。 对于这样的需求,我们首先需要去了解 Spark 是如何跟 k8s 集群打交道的。Spark on K8S 在 submit 的时候默认是直接在 K8S Master 节点提交,通过 --master 或者 SparkConf 中的 spark.master 来指定。

    02
    领券