在Scala程序中减少Spark的日志输出

文章/答案/技术大牛

发布

3回答

scala、apache-spark、logback、scala-logging

我正在编写一个遵循this example的Scala / Spark程序。我的工具是IntelliJ和sbt。(我没有使用scala spark shell。)我正在使用scala-logging和logback-classic，我需要减少Spark的日志记录，或者将spark日志记录定向到不同的.log文件。我尝试

浏览 71提问于2019-01-18得票数 2

1回答

如何在AWS Glue Python中导入RateLimiter

java、python、amazon-web-services、aws-glue、rate-limiting

我想为从python脚本胶水作业到DDB的调用添加一个速率限制器，并减少它的调用量峰值。(ApplicationMaster.scala)引起的rmation.doAs(UserGroupInformation.java:1844)：org.apache.spark.SparkUserAppException:用户应用程序与1 at org.apache.spark.deploy.PythonRunner$.main一起退出( org.apache.<

浏览 0提问于2021-02-10得票数 1

回答已采纳

1回答

星火初始作业尚未接受任何资源；请检查群集用户界面，以确保员工已注册并拥有足够的资源。

java、apache-spark、cluster-computing

我的客户端驱动程序代码正在从IntelliJ的本地环境中执行。; check your cluster UI to ensure that workers are registered and have sufficient resources 我在调试模式下运行我的应用程序，在我进入上面提到的代码之后，我进入了Spark，我看到我的应用程序实际上连接到了Spark</em

浏览 11提问于2022-11-08得票数 1

4回答

火花提交输出结果

scala、apache-spark、output、spark-submit

我是火花和scala编程的初学者，我试着在本地模式下运行spark submit示例，它运行完整，没有任何错误或其他消息，但我看不到任何输出结果在领事或星火历史网络用户界面.Where，我如何才能看到我的程序的结果在火花这是我运行的命令 spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp &#x

浏览 0提问于2018-04-26得票数 1

回答已采纳

2回答

ibm提交

scala、apache-spark、ibm-cloud、spark-submit

(我使用这个链接来休闲：“消息”：“驱动程序作为驱动程序成功提交-20170602xxxxxxxxxxxxxx投票#1.获取状态====失败状态输出=====================================================错误:作业失败。火花提交日志文件: stdout_1496403637550663675 _1496

浏览 1提问于2017-06-02得票数 0

3回答

在静默模式下通过火花-shell执行scala脚本。

scala、apache-spark、spark-shell

需要以静默模式通过火花壳执行scala脚本。当我使用spark-shell -i "file.scala"时，在执行之后，我将进入scala交互模式。我不想进去。我试着执行星空-i "file.scala“。但我不知道如何在静默模式下执行脚本。spark-shell -i "file.scala"scala>

浏览 0提问于2019-08-28得票数 4

1回答

伐木火花作业

logging、apache-spark、pyspark

我试图跟踪集群上提交的作业，到目前为止只使用spark.eventLog.enabled = True找到事件日志的日志解决方案，后者提供关于任务何时开始和完成的信息(关于该的更多信息)或log4j，后者还提供有关任务状态和进度的信息不过，我真正想要的是记录正在运行的任务。因此，这将捕获执行的代码，如: var = sc.range(1000)或min_var = var.min()。据我所见，上面

浏览 6提问于2016-03-23得票数 2

1回答

Python :将子进程Popen stdout重定向到日志文件

python、scala、logging、subprocess

我有一个python进程正在运行，它的记录器对象被配置为在日志文件中打印日志。现在，我试图通过这个scala过程调用一个python脚本，方法是使用Python的subprocess模块。我的猜测是，这是因为scala脚本输出到shell，因此shell挂起，因为它的stdout ( stdout )会导致shell失去理智。出于同样的原因，我想尝试将scala

浏览 1提问于2017-08-03得票数 1

2回答

在群集模式下读取文本文件时出现异常。

apache-spark、cluster-computing、rdd

我正在一个集群中运行我的代码，其中有一个主程序和两个slaves.But，例如，容器在遍历RDD时超过了阈值。代码在独立模式下运行得很好。检查驱动程序日志中是否有警告消息。在slve1.com上丢失了TaskSchedulerImpl执行程序1:远程RPC客户端断开。可能是由于容器超过阈值，或网络问题。检查驱动程序日志中是否有警告消息。错误TaskSchedule

浏览 0提问于2018-08-21得票数 2

1回答

火花强制使用java.lang.Long而不是scala.Long

scala、apache-spark

x是一个只有一个列的Dataset[Long]，它是使用创建的。res0: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@a90447f scala> val x = spark.range(0, 10000000, 10)

浏览 5提问于2021-08-23得票数 1

回答已采纳

1回答

星火提交对本地Hadoop-Yarn的设置，失败与Stdout路径必须是绝对错误的。

apache-spark、hadoop、hadoop-yarn、spark-submit

我已经在我的Windows机器上安装了最新的Hadoop和Spark版本。我试图推出其中一个提供的例子，但失败了，我不知道诊断意味着什么。它似乎是与标准有关，但我无法找出根本原因。有关更详细的输出，请检查应用程序跟踪页面：，然后单击指向每次尝试的日志的链接。。end.scala:95)，在org.apache.spark.scheduler.cl

浏览 1提问于2021-01-25得票数 0

1回答

错误清除广播异常

java、apache-spark、spark-streaming、stateful

在运行星火流应用程序时，我得到以下错误:运行多个有状态(使用mapWithState)和无状态操作的大型应用程序。由于火花本身挂起，所以很难隔离错误，我们看到的唯一错误是火花日志，而不是应用程序日志本身。该错误只发生在4-5分钟后，微批间隔为10秒.我使用Spark1.6.1在一个基于Kafka的ubuntu服务器上进行输入和输出流。请注意，我不可能提供最小的代码来重新创建这个错误

浏览 2提问于2017-07-18得票数 1

回答已采纳

3回答

spark-shell和scala CLI客户端有什么区别吗？

scala、apache-spark

spark-shell和scala CLI客户端提供了类似的功能；它们之间有什么区别吗？

浏览 1提问于2016-12-31得票数 2

1回答

Dataproc:在shell中更新日志级别

apache-spark、jupyter、google-cloud-dataproc、spark-shell

我使用木星终端访问Dataproc集群的驱动程序。这是我通往集群的网关，我没有为驱动程序机器启用直接SSH。当我启动spark时，我会在整个会话中不断地获取这些信息、调试、上下文清理消息，并在某种程度上干扰了我的编码工作。有办法把这些关掉吗？scala> 22/10/11 15:47:31 INFO org.apache.spark.scheduler.cluster.YarnSchedulerBackend

浏览 11提问于2022-10-11得票数 2

5回答

星星之火运行在Yarn集群exitCode=13上：

scala、hadoop、apache-spark、hadoop-yarn

我是一个火花/纱线新手，当我提交一个关于纱线集群的火花作业时，会遇到exitCode=13。当火花作业在本地模式下运行时，一切都很好。我使用的命令是： /usr/hdp/current/spark-client/bin/spark-submit --class com.test.sparkTest --master yarn --deploy-mode/conf/hive-site.xml /home&#x

浏览 10提问于2016-04-10得票数 25

回答已采纳

2回答

如何在Spark应用程序中进行有效的日志记录

scala、apache-spark、apache-spark-sql

我有一个用Scala编写的spark应用程序代码，它运行一系列Spark-SQL语句。这些结果是通过在最后对最终数据帧调用操作'Count‘来计算的。我想知道在Spark-scala应用程序作业中进行日志记录的最佳方式是什么？由于数量上的所有数据帧(大约20个)最终都是使用单个操作来计算的，那么在记录某些语句的

浏览 22提问于2019-09-03得票数 4

1回答

星星之火: IOException，日志记录期间关闭流

scala、apache-spark、ioexception

我试图使用Spark来统计维基百科XML转储中锚文本的频率。输入/输出： anchor_texts.map().reduceByKey在检查了工作日志之后，我犯了以下错误： 15/12/17 17:28:33 ERROR FileAppender: Error writin

浏览 2提问于2015-12-15得票数 2

3回答

如何在Scala星火中访问类型签名以进行调试

scala、apache-spark

我如何通过编程方式生成相同的签名，而无需使用shell (为了调试日志或stdout/stderr)而使用星火脚本或类？dataRdd.map(word => (word, 1))countsRdd.foreach(println) 在星火壳中运行的代码(请参见下面的输出:我希望从api中生成)：我想要生成的示例类型信息(在日志<

浏览 2提问于2017-04-24得票数 0

3回答

火花作业在第一次尝试中无法连接到oracle

apache-spark、apache-spark-2.0

我们运行的火花作业，连接到甲骨文，并获取一些数据。始终尝试0或1的JDBCRDD任务失败，以下错误。在随后的尝试中，任务完成。正如少数门户中所建议的那样，我们甚至尝试过使用file:///dev/urandom-Djava.security.egd= java选项，但它并没有解决问题。有人能帮我们解决这个问题吗。

浏览 2提问于2017-10-12得票数 0

回答已采纳

1回答

在完成任务时在SQLListener.onTaskEnd上启动NullPointerException

hadoop、apache-spark、hdfs、hadoop-yarn

我有一个使用Scala的Spark应用程序，它执行一系列转换，然后将结果写到parquet文件中。在挂起大约一个小时(消耗资源和vcore)之后，它要么结束，要么抛出一个错误并自行终止。这是

浏览 0提问于2016-08-24得票数 0

点击加载更多