Sparklyr -在spark-submit中更改日志级别

文章/答案/技术大牛

发布

1回答

r、apache-spark、sparklyr

我试图实现的是在${SPARK_HOME}/bin/spark-submit执行期间将记录到控制台的所有信息静默。我已经通过更改${SPARK_HOME}/conf/log4j.properties中的适当行更改了spark本身的日志级别，但当我提交R-sparklyr脚本和sparklyr.jar以作为一种独立作业执行时，我仍然会获得以下信息： # 用户@主机${SPARK_HOME}

浏览 27提问于2021-07-02得票数 0

5回答

星星之火: java.io.IOException:设备上没有空间[再次！]

r、apache-spark、pyspark、sparklyr

在sparklyr中运行一个简单的查询之后，我将获得发生的sparklyr。我使用Spark (2.1.1)和Sparklyr的最后两个版本config$`sparklyr.shell.num-executors` <- "

浏览 3提问于2017-07-03得票数 8

1回答

如何更改执行程序的日志记录级别？

java、scala、apache-spark、log4j、spark-streaming

由火花执行器执行的所有类的默认日志记录级别似乎是INFO。我想根据需要将其更改为DEBUG或WARN等。export SPARK_JAVA_OPTS="-Dlog4j.configuration=file:./log4j.properties" 这允许我更改驱动程序中运行的类的日志记录级别</

浏览 2提问于2015-12-04得票数 2

1回答

闪烁+闪烁:连接到集群时出错

r、hadoop、apache-spark、sparklyr、sparkling-water

到端口(8880)时失败(9819)：Sparklyr网关在60秒路径后检索端口信息时没有响应: /opt/spark-2.0.0-bin-hadoop2.6/bin/spark-submit参数：-class/usr/lib64/R/library/sparklyr/java/sparklyr-2.0-2.11.jar'，8880,9819常春藤默认缓存设置为:/

浏览 0提问于2017-02-14得票数 1

2回答

如何忽略火花-提交火花源警告

python、apache-spark、pyspark、warnings、spark-submit

当我提交python文件时它开始显示大量与python 2打印方法相关的警告。有没有办法像spark-submit driver.py -W ignore ?？ >>我知道这是python2的警告，我的代码在python3中，所以我只想忽略python2警告。这些警告甚至在控件转到我的代码之前就开始显示了。因为spark-submit首先在加载python文件上运行，然后在加载python文件上运行。

浏览 3提问于2018-10-19得票数 0

1回答

带有apache箭头的Sparklyr* R失败，意外终止:对象'as_tibble‘未找到*

r、sparklyr、apache-arrow

我试图在中使用sparklyr来提高性能，例如，但是遇到了错误。下面是一个(希望)可重复的例子：library(sparklyr)config <- sparklyr::spark_config::mtcars, overwrite = TRUE)if ("arrow" %in% .packages()) detach(&quo

浏览 0提问于2019-08-07得票数 1

回答已采纳

4回答

在纱线管理的hadoop集群上部署spark时，sparklyr可以使用吗？

r、apache-spark、hadoop-yarn、sparkapi、sparklyr

这似乎没有在文档中被记录下来。lib.loc = c(sparkr_lib_dir, .libPaths()))然而，当我把上面的最后一行 Parameters: '--packages' 'com.da

浏览 7提问于2016-06-29得票数 5

回答已采纳

1回答

星星之交log4j配置在spark上下文中没有任何影响。

python、apache-spark、pyspark、spark-submit

在spark-submit中指定配置文件后(如在中) --master local \Logger = logger.getLogger("MyLogger") 也就是说，所有星火I

浏览 4提问于2021-05-13得票数 0

回答已采纳

2回答

电子病历步骤中的Spark应用级日志

apache-spark、pyspark、amazon-emr

我正在EMR步骤中运行spark应用程序，但由于某些错误导致作业失败，我希望看到该错误。我已经检查了stderr，但它没有提供任何有关错误的详细信息。我想查看应用程序级别的日志。

浏览 17提问于2020-07-05得票数 1

回答已采纳

1回答

如何在spark-submit控制台输出中更改日志级别？

apache-spark、pyspark

我是Spark (Pyspark)的新手，当我运行spark-submit时，spark日志非常冗长。如何更改日志输出？

浏览 25提问于2020-01-21得票数 0

回答已采纳

1回答

为什么使用sparklyr的spark_read_csv将RDD持久化到磁盘？

r、apache-spark、apache-spark-sql、sparklyr

我正在使用带内存= TRUE参数的sparklyr spark_read_csv (下面的代码)从spark_read_csv读取数据，但是尽管内存足够，但大部分数据还是溢出到磁盘上。

浏览 2提问于2017-06-01得票数 2

1回答

带分类预测的sparklyr* + lm*

r、sparklyr

我正在尝试使用分类预测器在sparklyr上运行lm。在普通R中工作的示例在sparklyr中失败：lm(Petal.Length ~ as.factor(Species), data = iris) ... 21/06/09 22:48:01 ERROR sparklyr: RScript (3130) terminated unexpectedl

浏览 7提问于2021-06-10得票数 2

3回答

用星火读取SAS sas7bdat数据

apache-spark、pyspark、sas

我有一张SAS桌子，我试着用星火来阅读它。我试过像这样使用这个，但我无法让它工作。from pyspark.sql import SQLContext df = sqlContext.read.format("com.github.saurfang.sas.spark").load("my_table.sas7bdat")Py4JJavaError: An error occurred while calling o878.load. : java.lang.ClassN

浏览 2提问于2018-08-21得票数 2

回答已采纳

2回答

Sparklyr对火花2.3.1的支持

r、apache-spark、sparklyr

在使用spark_available_versions()时，最后的结果是2.3.0。 sparklyR还不支持2.3.1吗？有什么方法可以绕过这个问题或者使用任何其他显式代码来克服这个问题吗？

浏览 1提问于2018-07-13得票数 1

回答已采纳

1回答

来自非主类的调试、警告和信息消息在spark executor日志记录中不可见

scala、logging、apache-spark、spark-streaming

我们尝试了各种解决方案，包括更改log4j.properties文件，通过--file将该文件复制到执行器，然后告诉它们将其用作通过--conf传递给spark的arg，还尝试更新EMR集群本身的配置。在执行器日志中可以看到来自系统的警告消息。来自主类的警告消息是可见的，但是没有来自任何其他类的消息通过以太，并且我们不确定问题可能是什么。日志级别很好，如Spark生成的消息所示，但其他类消息无法通过。驱动程序日志(从EMR控制台的主页)显示来自其他类的调试消息，而执行

浏览 0提问于2016-09-30得票数 2

1回答

使用火花提交时，火花关闭日志记录

scala、apache-spark、log4j

我正在运行一个scala应用程序，它将提交vi Spark submit： --master我在代码中加入了以下几行：在其他行中，试图仅压制单个类。我还在我的主要内容中列出了一条产出线，以证明其所处的水平： println("Log level = " + LogManager.getRo

浏览 4提问于2017-10-25得票数 0

1回答

Sparklyr的spark_apply函数似乎在单个执行器上运行，在中等大小的数据集上失败。

r、apache-spark、sparklyr

我试图使用spark_apply在星火表上运行下面的R函数。如果我的输入表很小(例如，5,000行)，但是在大约30分钟之后，当表适度大时(例如，5,000,000行)：sparklyr worker rscript failure, check worker有人能给出为什么这个函数在500万行数据集上失败的原因吗？，问题可能是单个执行器被指定来完成所有的工作，而失败吗？

浏览 1提问于2017-09-25得票数 3

回答已采纳

1回答

如何在多节点群集上使用spark-submit提交自定义log4j.xml文件

apache-spark、log4j、hdfs、apache-spark-standalone

我正在使用spark-submit向spark独立集群管理器提交java jar。但我不能提供自定义的log4j.xml文件给它。

浏览 16提问于2017-01-11得票数 1

1回答

Websphere服务日志和日志级别--关系是什么？

java、websphere

我知道activity.log(服务日志)也包含JVM日志。您能告诉我如何在activity.log中控制日志级别吗？是否可以在“更改日志详细信息级别”中由日志级别控制。我不想停止它，而是控制登录活动日志的级别。 websphere controls日志中的“更改日志详细<e

浏览 1提问于2014-06-21得票数 0

1回答

如何使用Sparklyr包来处理不同数据类型的数据？

r、apache-spark、nested、flatten、sparklyr

Introductionconf <- spark_config()conf$'sparklyr.

浏览 1提问于2018-09-06得票数 14

回答已采纳

点击加载更多