我正尝试在livy上使用批处理作业执行python文件 网址：http://<server-host>:8998/batches 正文： {} 我想在服务器上已经创建的python virtualenv</
浏览 10提问于2020-06-15得票数 1
我正在使用Livy/Spark，我对如何使用其中的一些感到有点困惑。在livy examples文件夹中有一个上传到spark的构建作业的示例。我希望能够通过shell做交互的事情，但我也想为我经常使用的spark中不可用的算法创建自定义作业。我不确定我应该用什么方法来解决这个问题。有什么想法吗？我应该如何使用Livy
浏览 2提问于2018-05-12得票数 1
我正在使用Apache批处理POST方法提交Spark作业。
这个HTTP请求是使用AirFlow发送的。提交作业后，我使用批处理Id跟踪状态。
浏览 4提问于2019-01-20得票数 4
回答已采纳
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark-streaming吗？谢谢!
浏览 0提问于2015-06-16得票数 0
使用Livy通过从电子病历启动的POST请求执行存储在S3中的脚本。脚本会运行，但很快就会超时。我尝试过编辑livy.conf配置，但似乎所有更改都没有生效。这是返回的错误：
java.lang.Exception: No YARN application is found with tag livy-batch-10-hg3po7kp in 120 secondsPlease check your cluster status, i
浏览 3提问于2018-11-29得票数 3
2回答
我使用Livy通过创建jar文件来运行wordcount示例，jar文件工作非常好，并在HDFS中编写输出。现在，我想将结果返回到我的HTML页面。我正在使用，sbt，HDFS和Livy。GET/批处理REST只显示日志和状态。或者如何使用Livy中的REST读取HDFS中的文件？请帮我解决这个问题。
提前谢谢。
浏览 1提问于2018-07-03得票数 1
我知道Apache Livy是用于从任何地方与spark进行交互的rest接口。那么，使用Apache Livy而不是spark-jobserver有什么好处呢？使用Livy作为替代的spark-jobserver的缺点是什么？我在网上找不到太多关于这个的信息。你能帮我弄清楚这一点吗。
谢谢,
浏览 4提问于2018-02-19得票数 18
3回答
我正在尝试提交火花作业通过livy使用rest api。但是如果我多次运行同一个脚本，它会运行多个具有不同作业ID的作业实例。我正在寻找一种方法，可以在启动新作业之前杀死运行相同名称的spark/yarn作业。Livy document说()删除批处理作业，但是livy session不返回应用程序名称，只返回应用程序id。
有没有其他方法可以做到这一点
浏览 2提问于2017-06-28得票数 3
3回答
我最近开始使用Scala、HDFS、sbt和Livy。目前我试图创建livy batch。批处理日志中。我的星火提交命令在本地.jar文件中运行得非常好。(在cURL中)来说，这也是抛出错误。我对livy的新代码是- "file": "/jar/pro
浏览 0提问于2018-06-21得票数 1
1回答
我在Synapse管道上收到了以下错误。我正在使用内存优化的集群运行具有更多集群大小的管道。我只是处理7-8个JSON文件，每个文件的大小约为90 am。错误
{ "errorCode"："145"，"message"：“Synapse批处理操作中的内部服务器错误：'plugins.C4T-PRIV-SAW-CAS.IR-Test.19 WorkspaceType: Liv
浏览 2提问于2021-11-24得票数 0
我的客户在AWS EMR上安装了一个安装在木星集线器上的AD连接器，以便通过AD在Jupyterhub上验证不同的用户。目前的理解是，当不同的用户通过木星中心上的木星笔记本向共享的EMR火花引擎提交他们的火花作业时，火花作业将通过Livy提交给火花引擎。每个Livy会议都将有一个相关的火花会话映射到它(这是我目前的</e
浏览 0提问于2018-12-24得票数 2
回答已采纳
我已经在mac上安装了jenkins，进行设置。在Job configuration中，执行Shell，所有其他命令如date、pwd等。我的脚本在项目下的/Users/abcd/project/位置，有多个文件夹，不要紧。要从project folder执行的脚本cd /Users/abcd/project/
rob
浏览 6提问于2017-09-14得票数 0
我试图使用Livy远程提交几个Spark作业。我用来做这个
我知道我可以使用spark-submit Livy 提供上述Livy命令中的所有选项。允许我指定许多远程实例化SparkSession的选项。但是，在session中没有看到参数。如何利用我使用POST/sessions请求创建的POST/sessions来使用POST/batches请求提交我的
浏览 0提问于2018-08-08得票数 1
回答已采纳
考虑到livy的批处理模式，我提交了一个文件/jar，其中写入了我的火花逻辑。我如何将一个POST/batches创建的火花会话与{'id':1}共享，另一个POST/batches与{'id':2}共享？这样做的原因是，我已经应用并存储在dataframe中的转换--我需要通过共享相同的会话在不同的</
浏览 4提问于2019-08-08得票数 2
回答已采纳
Livy有一个批处理日志端点：GET /batches/{batchId}/log，在中指出
据我所知，这些日志是livy日志和，而不是火花驱动程序日志。我在一个print作业中有一个pyspark语句，它打印到驱动程序日志输出。我能够通过描述批处理端点https://livy.incubator.apache.org/docs/latest/rest-api.html#b
浏览 7提问于2020-01-08得票数 3
问题我真的不知道将虚拟环境的设置和requirements.txt需求的安装放在哪里。before_script:
-
浏览 3提问于2021-08-26得票数 5
我想向web应用程序的用户公开我的星火应用程序。火花应用程序应该使用用户提供的参数启动。在处理过程中，Web应用程序应该显示星火应用程序的状态。
web应用程序如何启动星火应用程序？它可能能够从引擎盖
浏览 2提问于2016-10-28得票数 31
2回答
我想定义django virtualenv，然后操作服务器。但是我想在一次操作中完成，而不是两次。所以，我试着写批处理。我的批次是：start python manage.py runserver
但这并不成功。它为工作台创建一个新的cmd (即我想要使用的virtualenv)，并在不同的cmd (不支持virt
浏览 0提问于2017-05-09得票数 0
3回答
我试图运行本地jar文件与火花提交，这是非常好的工作。这是我的livy.conf文件，正如一些文章所建议的那样，可以更改一些东西。livy.server.host = 0.0.0.0
livy.server
浏览 0提问于2018-06-26得票数 9
回答已采纳
我已经在AWS中创建了一个基本的EMR集群，我正在尝试使用通过AWS控制台提供的木星笔记本。启动笔记本似乎很好，而且我还能够在笔记本中运行从pyspark内核开始的基本python代码。一旦我执行实际击中火花机械的操作，问题就会出现。，对它们进行平方，并将结果返回到列表中。包括以下内容：
The path python3 (from --
浏览 1提问于2020-04-07得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
