使用Livy上传Python脚本
使用Livy上传Python脚本
提问于 2017-04-18 08:14:40
我正试图找到一种方法，在spark服务器上使用Livy API (or client)来推送python脚本。我试过以下几种方法。
- curl -X POST '{"file"："/user/test/pi.py"}‘-H’内容-Type: application/json“localhost:8998/批”
，但是当我看到日志时，它给出的文件没有找到，因为它试图在服务器上找到路径。
- 使用Livy Python客户端。
R= client.upload_pyfile("/tmp/code/test.py")
，这将返回一个未来的对象，但是未创建批处理(我甚至不确定它要上传到的文件路径)。
基本上我想要的是-
- 能够通过API上传文件，使用Livy在Spark服务器上上传。
- 提交批处理/运行触发器。利用利维。
回答 1
Stack Overflow用户
发布于 2018-01-19 16:38:27
使用Livy JAVA客户端，我也可以这样做。我已经将jar上传到Livy Server并提交了Spark作业。
您可以参考下面的链接。https://livy.incubator.apache.org/docs/latest/programmatic-api.html
注意: 1.等待livy客户端成功上传jar/文件。2. jar/文件应该在livy服务器或HDFS中可用，而HDFS是livy服务器可以访问的。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/43467015
复制相关文章
相似问题
腾讯云开发者
