为了详细说明，我使用livy创建一个spark会话，然后将作业提交给在同一spark会话中运行它们的livy客户端。现在，如果我需要在其中一个作业中添加一个新的jar作为依赖项，有没有办法将该jar放入正在运行的spark会话中？
我尝试过spark.jars，但它只在创建会话</em
浏览 0提问于2018-05-15得票数 1
1回答
我使用livy来使用Spark作为服务。我的应用程序将一些命令作为代码发送给livy，然而，spark需要初始化一些变量(读取一些文件，进行一些map&reduce操作等)。这需要时间。此初始化部分对于所有会话都是通用的。在构造之后，可以将不同的语句发送到这些会话。
我想知道的是，当livy创建会话时，是否可以复制旧的<
浏览 14提问于2016-09-21得票数 1
回答已采纳
我正在尝试使用livy，这也是我第一次使用REST api。跟随，当我键入然后我接收作为输出的根据本教程，会话状态应该是iddle，但在启动完成后，它似乎会更改为dead。我不知道该怎么做才能将状态保持在iddle中，这样我才能发出post请求。在运行服务器的控制台中，我收到以下输出16/08/02
浏览 11提问于2016-08-02得票数 0
回答已采纳
我正在运行一个Sparkv2.0.0纱线集群。我让livy在火星之主旁边跑。在jupyter的“管理火花”部分中创建新会话时，从Livy日志中获得的错误
17/02/10 13:06:08 INFO Stat
浏览 10提问于2017-02-10得票数 2
回答已采纳
1回答
我在特定命名空间中的K8S上运行了spark (3.0.1)、livy (0.8.0)和Jupyterhub (火花魔术)，Kubernetes master作为资源管理器使用。当我试图在木星中心的笔记本中创建pyspark会话时，我得到了一个错误：
22/02/04 12:09:16警告InteractiveSession:未能阻止RSCDriver。杀了它。配置的服务帐户没
浏览 21提问于2022-02-07得票数 0
我正在使用Nifi ExecuteSparkInteractive处理器运行spark代码，我看到它的结果是成功、失败和等待。当结果进入成功和失败状态时，我能够很好地管理和路由结果，但有时我看到文件丢失，我认为它将处于等待状态，并且在我的Nifi流中没有为“等待”状态定义路由。谁能帮助我理解什么是“等待”状态，以及如何在不影响最终结果的情况下路由此状态下的控件。
提前谢谢你！我尝试将nifi控件路由到UpdateAttribute处理器，但我看不到任何来自spark代码的结果。看起来<e
浏览 1提问于2019-06-23得票数 2
2回答
主要是拥有多语种星火支持--在木星中是否有可能创建一个可以通过R、Scala、Python和SQL访问的星火数据框架，所有这些都在同一个笔记本中？我们已经编写了Scala库来创建数据框架并将其返回给用户，用户可能希望使用各种语言来操作/查询数据框架。
在木星环境中，是解决这个问题的解决方案吗?我无法从Livy的网站上判断给定的连接是否只支持一种语言，或者每个会话是否可以有
浏览 2提问于2018-08-14得票数 3
1回答
使用亚马逊emr-5.30.1配Livy 0.7和Spark2.4.5curl -X POST \
-d '{"conf": {"kind" : "spark","jars": "s3://cjspro-emr-da
浏览 2提问于2020-07-16得票数 1
一旦我使用Spark notebook创建了Scala代码的原型，我就会将相关的单元复制到一个脚本文件中，这个脚本文件是我从Apache Spark CLI调用的。有没有一种更惯用的方式来帮助代码重用？
那么，与其从spark notebook创建脚本文件，还不如通过api调用运行notebook本身？
浏览 0提问于2017-05-03得票数 1
我的客户在AWS EMR上安装了一个安装在木星集线器上的AD连接器，以便通过AD在Jupyterhub上验证不同的用户。目前的理解是，当不同的用户通过木星中心上的木星笔记本向共享的EMR火花引擎提交他们的火花作业时，火花作业将通过Livy提交给火花引擎。每个Livy会议都将有一个相关的
浏览 0提问于2018-12-24得票数 2
回答已采纳
在网上浏览之后，我认为Livy可以用来做这件事。 Livy已经安装了HDP 2.5。因此，我使用POST/Sessions创建了新的Livy会话，并包含了我的jar文件。注意：- jar必须放在HDFS中才能正常工作 根据Livy的示例:- https://livy.apache.org/examples/我可以将代码片段作为&qu
浏览 32提问于2020-03-30得票数 0
我正在创建一个EMR集群，并使用jupyter notebook运行一些spark任务。我的任务在执行大约1小时后就会死掉，错误是：Invalid status code '400' from https://xxx.xx.x.xxx:我的理解是它与Livy config livy.server.session.timeout相关，但是我不知道如何在集群的引导
浏览 2提问于2019-01-16得票数 13
回答已采纳
比方说，我想继续为提交给纱线的每个火花作业创建一个会话。每个连接都有一个唯一的用户，该用户一直在轮询状态和将语句发送到会话。我如何计算，在任何给定的时间里，Livy可以有多少个活动会话？是基于我配置的livy.spark.driver大小吗？这个计算所涉及的其他参数是什么？
浏览 1提问于2019-09-11得票数 1
我正在使用Livy/Spark，我对如何使用其中的一些感到有点困惑。在livy examples文件夹中有一个上传到spark的构建作业的示例。我喜欢正在使用的接口，但我想通过http连接到livy/spark，因为我没有java客户端。这样看来，如果我使用livyclient上传jars，它只存在于那个spark会话中。老实说，我正在试图弄清楚最好的方法是什么。我希望能够通过s
浏览 2提问于2018-05-12得票数 1
我是Spark的新手，所以任何建议，无论是关于相关工具或针对我的用例建议的设计更改，都将不胜感激。我目前的情况是，我有几百万个独立的Spark作业，运行时间不是很长(平均几秒钟)，我使用Livy以批处理模式提交它们。问题是，初始化每个作业的Spark上下文所需的时间比运行作业本身所需的时间要长得多。因此，我的想法是初始化spark上下文的修复池，并使用它们来运行所有这些作业，而不是每次运行作业时都获
浏览 2提问于2021-09-06得票数 1
1回答
我一直在尝试用运行在Ubuntu 18.04上的Livy 0.7服务器创建一个新的spark会话。在同一台机器上，我有一个具有2个工作进程的正在运行的spark集群，并且我能够创建一个普通的spark-session。我的问题是，在向Livy</em
浏览 40提问于2020-06-03得票数 5
我尝试在批处理模式下执行livy，方法是提交一个python文件，但是它不起作用，我尝试了两种方法-
hduser@tarun-ubuntu:/home/tarun/spark/examples/src/main/python$ curl
浏览 1提问于2016-10-28得票数 1
1回答
我希望从概念上理解在Spark内核(如SparkMagic)上运行的几个Jupyter笔记本如何共享一个工作节点集群。如果用户A在计算单元中持续或缓存了一个大的RDD (无论是在磁盘上还是在内存中)，然后出去度周末，但没有停止他/她的笔记本，这是否会降低其他用户在用户A的笔记本运行时运行其作业的能力？也就是说，共享集群的所有Spark notebooks
浏览 20提问于2021-01-25得票数 1
Livy继续使用Python2.7，不管使用什么。注意:这在运行Livy 0.7.0的另一个EMR集群中没有任何问题，我已经遍历了<em
浏览 6提问于2021-05-03得票数 2
这个HTTP请求是使用AirFlow发送的。提交作业后，我使用批处理Id跟踪状态。我想在气流日志上显示驱动程序(客户端日志)日志，以避免AirFLow和Apache /Resource访问多个地方。
使用Apache可以这样做吗？
浏览 4提问于2019-01-20得票数 4
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
