腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(448)
视频
沙龙
1
回答
如何将
Livy
curl
调用
转
换为
Livy
Rest
API
调用
scala
、
apache-spark
、
livy
我开始使用
Livy
,在我的设置中,
Livy
服务器在Unix机器上运行,我可以对它执行
curl
并执行作业。我已经创建了一个fat jar并将其上传到hdfs,我只是从
Livy
调用
它的main方法。:
curl
-X POST --negotiate -u:"test_user" --data @/user/data/
Livy
/SampleFile.json -H "Content-Type:appli
浏览 22
提问于2019-10-02
得票数 0
2
回答
如何通过托管在Azure HDInsight上的
REST
API
调用
Python Jupyter Notebook?
python
、
pyspark
、
jupyter-notebook
、
azure-hdinsight
、
livy
我打算通过
REST
API
调用
这个Python笔记本,而
Livy
Server似乎是未来的发展方向。 我面临的问题是,对于
Livy
Server,公开Python Notebook是不起作用的。有没有办法允许通过
Livy
API
从外部
调用
Python Notebook?
浏览 48
提问于2019-05-20
得票数 0
2
回答
Apache
Livy
与spark-jobserver的比较
apache-spark
、
spark-jobserver
、
livy
我知道Apache
Livy
是用于从任何地方与spark进行交互的
rest
接口。那么,使用Apache
Livy
而不是spark-jobserver有什么好处呢?使用
Livy
作为替代的spark-jobserver的缺点是什么?我在网上找不到太多关于这个的信息。你能帮我弄清楚这一点吗。 谢谢,
浏览 4
提问于2018-02-19
得票数 18
1
回答
无法使用Amazon EMR访问Spark主节点中的flask
amazon-web-services
、
api
、
flask
、
pyspark
、
amazon-emr
目标是从web应用程序
调用
Flask来检索spark输出。端口在amazon EMR集群的安全组中是开放的,但我无法从他的端口外部访问它。 你觉得那个怎么样?还有其他的解决方案吗?
浏览 17
提问于2020-07-06
得票数 0
回答已采纳
2
回答
使用
Livy
执行Spark作业,使用`--master yarn-cluster`而不进行系统范围的更改
apache-spark
、
livy
我想使用从集群外部通过HTTP
调用
来执行Spark作业,其中Spark jar已经存在于HDFS中。我还可以使用
curl
通过
Livy
提交命令。例如,此请求:
curl
-X POST --data '{"file": "/path/to/spark-job.jar", "className": "io.woolford.Main"}' -H尾随/var/log/<e
浏览 1
提问于2016-11-30
得票数 2
2
回答
用
Livy
在HDFS中创建的读取文件
scala
、
apache-spark
、
sbt
、
livy
我使用
Livy
通过创建jar文件来运行wordcount示例,jar文件工作非常好,并在HDFS中编写输出。现在,我想将结果返回到我的HTML页面。我正在使用,sbt,HDFS和
Livy
。GET/批处理
REST
只显示日志和状态。或者如何使用
Livy
中的
REST
读取HDFS中的文件?请帮我解决这个问题。 提前谢谢。
浏览 1
提问于2018-07-03
得票数 1
1
回答
Apache
Livy
-
Rest
API
apache-spark
、
livy
在网上浏览之后,我认为
Livy
可以用来做这件事。
Livy
已经安装了HDP 2.5。因此,我使用POST/Sessions创建了新的
Livy
会话,并包含了我的jar文件。注意:- jar必须放在HDFS中才能正常工作 根据
Livy
的示例:- https://
livy
.apache.org/examples/我可以将代码片段作为"data = {' code ':'1 +我不知道如何在类中
调用
该方法。
浏览 32
提问于2020-03-30
得票数 0
1
回答
分布式
rest
调用
和聚合
java
、
apache-spark
、
mapreduce
、
distributed
我有一个客户端的用例,需要从web
rest
服务加载大量数据。此
rest
api
具有高度可伸缩性,显然在处理超过10000+的并发请求时没有任何问题。尽管我的代码寻找一个
API
来包装这个
rest
服务来完成这种大型数据加载。
浏览 20
提问于2019-02-27
得票数 0
回答已采纳
1
回答
通过
Livy
REST
API
提交PySpark应用程序时出错
rest
、
pyspark
、
apache-nifi
、
livy
我想通过
REST
API
向
Livy
提交一个Pyspark应用程序来
调用
HiveWarehouse连接器。社区中的这个答案 https://community.cloudera.com/t5/Community-Articles/How-to-Submit-Spark-Application-through-
Livy
-
REST
-
API
标记反序列化\n java.lang.String的实例:(org.eclipse.jet
浏览 37
提问于2020-01-11
得票数 0
回答已采纳
1
回答
从Java
调用
Apache
java
、
apache-spark
、
livy
我们需要从Java
调用
这个
API
。当我们尝试使用泽西客户机( Java 11上的2.30.1版本)从Java应用程序
调用
上述
API
时,Apache服务器返回“内部服务器错误”(500)。payLoad.put("code", codeBlock); // In this e.g, session id: '0' is created before calling the below
API
浏览 0
提问于2020-06-24
得票数 0
回答已采纳
1
回答
Livy
Batch
API
-无法获取jar
apache-spark
、
livy
我正在尝试使用
Livy
Batch
API
来
调用
我的Spark应用程序。
curl
-X POST -d '{"file": "file:///path to file/SampleSparkProject-0.0.2-SNAPSHOT.jar","className": "driverMemory": "16g","executorMemory": &qu
浏览 30
提问于2020-04-04
得票数 0
回答已采纳
2
回答
如何通过Apache
Livy
on Spark执行jar打包的scala程序,以直接响应客户端请求的结果?
scala
、
apache-spark
、
curl
、
livy
我想要实现的是让Scala Spark程序(在jar中)接收来自客户端的POST消息,例如
curl
,获取一些参数值,执行一些Spark处理,然后将结果值返回给
调用
的客户端。从可用的Apache
Livy
文档中,我找不到如何通过
Livy
以交互即会话模式从客户端(例如
curl
)
调用
编译和打包的Spark程序的方法。通过
Livy
的这种请求/回复场景可以通过以纯文本形式传递给Spark shell的Scala代码来完成。但是如何在打包的jar中使用Scala类呢?<e
浏览 3
提问于2019-01-06
得票数 1
3
回答
如何在不使用spark -submit的情况下触发spark作业?实时代替批处理
scala
、
apache-spark
、
spark-streaming
现在我想让工作对团队可用,这样人们就可以提交一个输入文件(可能通过一些web-
API
),然后spark作业将被触发,它将返回给用户结果文件(也可能是通过web-
API
)。
浏览 0
提问于2015-06-16
得票数 0
1
回答
Rest
接口到HDInsight Spark以提交作业和读取结果
azure
、
hadoop
、
apache-spark-sql
、
azure-hdinsight
我看到HDInsight星体集群集群附带了
Livy
,但我没有看到任何示例向我们展示如何在dotnet环境中使用它。顺便说一句,我认为这是我们需要采取的解决我的问题的途径。
浏览 5
提问于2016-04-14
得票数 0
1
回答
从Azure HDInsight中获取Spark日志
azure
、
apache-spark
、
azure-hdinsight
、
livy
目前,我正在通过
LIVY
发布/提交火花作业到Azure HDInsight集群。作业完成后,我正在查看Spark的纱线日志。 每个火花作业的
Livy
日志不提供纱线日志。我们在Azure中是否有
REST
调用
或自定义工具来获取Yarn日志?
浏览 2
提问于2020-12-08
得票数 1
回答已采纳
1
回答
Apache
Livy
REST
API
(/batches/) -
如何将
数据返回给客户端
apache-spark
、
livy
我们正在使用Apache
Livy
0.6.0-孵化,并使用其
REST
API
通过/batches/
API
调用
自定义spark jar。 自定义spark代码从HDFS读取数据并进行一些处理。这段代码是成功的,
REST
响应也是“成功”。我们希望数据返回给客户端,就像/session/
API
返回数据的方式一样。有没有办法做到这一点?注意:/session/
API
只能接受spark scal
浏览 0
提问于2019-07-15
得票数 2
1
回答
在Java中将JSON参数作为
livy
参数发送
java
、
apache-spark
、
livy
我正试着通过
livy
提交一份spark工作。在作业中,我需要在args参数中发布一个json数据,同时
调用
livy
.This就是我所做的 String payload = "{\"name\": \"myname\", \"id\": \"101:\"someclass\",\"args\":["+"\""+payload+"\""+"], \
浏览 31
提问于2019-03-05
得票数 1
1
回答
Livy
rest
API
调用
是如何工作的?
apache-spark
、
livy
我刚开始使用Apache
Livy
,我能够阅读在线文档,并能够通过
Curl
()提交spark作业。
浏览 0
提问于2019-10-02
得票数 0
4
回答
通过Web应用程序启动星火应用程序的最佳实践?
apache-spark
从Spark的
REST
获取状态是可行的吗? 我正在运行一个Spark1.6.1集群,其中包含了Spark /Mesos(还不确定)和MongoDB。
浏览 2
提问于2016-10-28
得票数 31
1
回答
通过
API
访问Spark结果
apache-spark
、
bigdata
让我困惑的是,其他要触发的连接器,比如Tableau,使用JDBC之类的连接器应该拥有所有的数据(而不是我们通常可以通过
Livy
或其他
REST
接口获得的所有数据)。
浏览 1
提问于2018-10-25
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
探索 OpenAI 平台架构
如何借助Quarkus和MicroProfile实现微服务
工程师每天都在研究的软件架构是什么?
K8S APIServer依赖的go-restful WebService框架的简单使用
你还在手撕微服务?快试试 go-zero 的微服务自动生成
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券