我正在创建一个EMR集群,并使用jupyter notebook运行一些spark任务。我的任务在执行大约1小时后就会死掉,错误是:
An error was encountered:
Invalid status code '400' from https://xxx.xx.x.xxx:18888/sessions/0/statements/20 with error payload: "requirement failed: Session isn't active."
我的理解是它与Livy config livy.server.session.t
我正在尝试通过Apache Livy将spark作业提交到hadoop-yarn集群。使用指定的步骤here设置集群。 Java代码正通过IntelliJ在windows本地机器上运行。spark和hadoop集群位于linux服务器上。其他应用程序(没有Livy)完全可以在hdfs和spark计算上运行。 我正在尝试运行我在集群中应用程序的stderr中看到的错误日志: INFO yarn.ApplicationMaster: Waiting for spark context initialization...
INFO driver.RSCDriver: Connecting to:
当我把火花壳放在一个光洁的纱线簇上时。纱线容器立即退出,在纱线应用历史上的诊断表明:
Application application_1515782018863_0007 failed 2 times due to AM Container for appattempt_1515782018863_0007_000002 exited with exitCode: -1000
For more detailed output, check application tracking page:http://ip-172-31-11-83.us-west-2.compute.internal:80
有没有人可以帮我在Airflow中使用livybatchoperator,下面是我的代码…除此之外,除了spark operator之外,还有什么方法可以在气流中运行spark作业,在我的情况下,spark安装在不同的机器上。
我得到了这个错误:Getting Error in Airflow UI - "No module named 'airflow_livy'"。
from datetime import datetime, timedelta
from airflow_livy.batch import LivyBatchOperator
from a
运行示例Spark Livy作业时出现“内部服务器错误:会话处于启动状态”错误。
我安装了用于使用REST API访问apache-spark的Livy,并启动了Livy服务器。在运行示例spark Pi应用程序时(就像在上给出的一样),我收到错误消息“原因: java.io.IOException:内部服务器错误:"java.lang.IllegalStateException: Session is in state starting”。
线程"main“java.util.concurrent.ExecutionException: java.io.IOException
当我使用Data创建HDInsight Spark activity时,有两个类型的选项(脚本和jar),当我选择jar来运行时(我使用scala来开发jar文件,它运行shows by remote livy submit)、失败和日志显示:
*stdout:
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hdp/2.6.5.3009-43/spark2/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/Stati