用Cloudera5.14和Spark2配置Livy : Livy找不到自己的JAR文件
我是Cloudera的新手，我正在尝试将工作负载从运行Ambari的HDP服务器(与Livy和Spark2.2.x一起运行)转移到具有类似设置的CDH 5服务器。由于Livy不是Cloudera的组件，我使用的是0.5.0版本--从他们的网站上孵化出来，在与Spark、Spark和HDFS主服务器相同的服务器上运行它。
为了长话短说，当我试图向Livy屈服时，我会收到以下错误消息：
Diagnostics: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:811)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:588)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:432)
at org.apache.hadoop.yarn.util.FSDownload.copy(FSDownload.java:251)
at org.apache.hadoop.yarn.util.FSDownload.access$000(FSDownload.java:61)
at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:364)
at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:362)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:361)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:60)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Failing this attempt. Failing the application.它所引用的jar是Livy安装的一部分，并且显然存在。看起来，在这个过程中的某个时候，Hadoop正在寻找一个包含file:/home...的文件，而不仅仅是/home...或file:///home...，但我不确定这是否相关，因为这可能是HDFS的有效路径。我已经从源代码构建了多个Livy版本，修改了启动脚本并进行了远程调试，但是这个错误似乎发生在Spark的某个地方。
这是我的livy.conf文件：
# What spark master Livy sessions should use.
livy.spark.master = yarn
# What spark deploy mode Livy sessions should use.
livy.spark.deploy-mode = cluster
livy.file.upload.max.size 300000000和livy-env.sh
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/hadoop
export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957/lib/spark2
export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop旧集群使用Hadoop 2.7.3.2.6.5.0-141和Spark2.2.1。新集群运行Hadoop2.6.0-cdh5.14.2和Spark2.2.0.Cloudera 2。使用旧集群的Livy发行版以及Cloudera自己的Livy发行版都会给出相同的基本错误。同样，所有这些东西在上一个HDP/Ambari集群上都运行得很好。
所有这些jar文件都存在于每个节点上的路径上，我也用HDFS中的jar进行了尝试--Livy提取它们，然后为提取的jar提供相同的错误消息。我也尝试了一堆有权限的东西，但似乎都没有用。例如，我得到：
18/06/09 00:13:12 INFO util.LineBufferedStream: (stdout: ,18/06/09 00:13:11 INFO yarn.Client: Uploading resource hdfs://some-server:8020/user/livy/jars/livy-examples-0.4.0-SNAPSHOT.jar -> file:/home/livy/.spar
kStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar)从Livy的输出，然后..。
Diagnostics: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
...从纱线不可避免的故障。
有人有想法吗？如果有其他选择的话，我会很乐意听到的.
回答 1
Stack Overflow用户
发布于 2018-06-14 03:24:50
我通过使用字符串云彩回购从mvn clean package -DskipTests -Dspark-2.2.0.cloudera2 -Dscala-2.10构建Livy来修正这个问题。这个版本已经过时，UI已经崩溃，一些Scala测试失败了，因此必须跳过它们，而且我没有费心地研究如何或为什么指定2.2.0.cloudera2工作。我还必须在集群上安装Hue及其依赖服务。Livy，二进制或源的其他分布都不起作用。
https://stackoverflow.com/questions/50769660
复制相似问题
腾讯云开发者
