首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >无法通过livy客户端将jar上传到livy会话

无法通过livy客户端将jar上传到livy会话
EN

Stack Overflow用户
提问于 2016-10-06 12:04:30
回答 3查看 5.8K关注 0票数 7

代码:

代码语言:javascript
运行
复制
LivyClient client = null;
try
{
  String livyUrl = "http://dummy16814.zycus.net:8998";
  client = new LivyClientBuilder().setURI(new URI(livyUrl)).build();

  String piJar = "E:\\livy_old.jar";
  System.err.printf("Uploading %s to the Spark context...\n", piJar);
  client.uploadJar(new File(piJar)).get();

  int samples = 10;
  System.err.printf("Running PiJob with %d samples...\n", samples);

  double pi = client.submit(new PiJob()).get();
  System.out.println("Pi is roughly: " + pi);
}
finally
{
  client.stop(true);
}

上传jar时获取异常以下

上传E:\livy_old.jar到星火上下文..。线程"main“中的异常: /root/.livy-sessions/61a5e39c-d199-4bb8-967b-960b4e3e9ee3/livy_old.jar :坏请求:”需求失败:本地路径java.util.concurrent.ExecutionException不能添加到用户会话中。“在java.util.concurrent.FutureTask.report(FutureTask.java:122) at java.util.concurrent.FutureTask.get(FutureTask.java:192) at com.zycus.spark.PiJob.main(PiJob.java:64)引起的: java.io.IOException:坏请求:“需求失败:本地路径/root/.livy-sessions/61a5e39c-d199-4bb8-967b-960b4e3e9ee3/livy_old.jar不能添加到用户会话。”在com.cloudera.livy.client.http.LivyConnection.sendRequest(LivyConnection.java:197) at com.cloudera.livy.client.http.LivyConnection.post(LivyConnection.java:162) at com.cloudera.livy.client.http.HttpClient$2.call(HttpClient.java:155) at com.cloudera.livy.client.http.HttpClient$2.call(HttpClient.java:152) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745)

EN

回答 3

Stack Overflow用户

发布于 2017-07-17 05:42:16

默认情况下,Livy不允许将本地文件附加到用户会话:https://groups.google.com/a/cloudera.org/forum/#!topic/livy-user/mm-XEhANDHU i通过在livy-server-0.3.0/conf/livy.conf中指定本地路径来解决这个问题:

livy.file.local-dir-whitelist =/root/..livy会话/

他们的文件中应该提到这一点。

票数 10
EN

Stack Overflow用户

发布于 2016-11-09 14:23:28

spark.master yarn-cluster添加到火花配置文件(在我的例子中是spark-defaults.conf )中。

在集群中的所有节点上添加此条目。

票数 1
EN

Stack Overflow用户

发布于 2018-10-08 15:07:28

如果您在本地运行,则必须在livy.conf中修改两个属性。

livy.spark.master =本地, livy.file.local-dir-whitelist=/path/tothe/file

在改变了这两个对角线后,我才能让它工作起来

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39895511

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档