ClassNotFoundException: org.apache.spark.repl.SparkCommandLine
我是的新手，我尝试在本地运行它。我试着只运行一个简单的理智检查，看看sc是否存在，并得到下面的错误。
我编译了它的火花和火花1.5 (我使用火花1.5)。我将内存增加到5GB，并将端口更改为8091。
我不知道我做错了什么，所以我得到了下面的错误，我应该如何解决它。
提前感谢
java.net.URLClassLoader.findClass(URLClassLoader.java:381)，java.lang.ClassLoader.loadClass(ClassLoader.java:424)，sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)，java.lang.ClassLoader.loadClass(ClassLoader.java:357)，org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:401)，org.apache.zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:74) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:68) at org.apache.zeppelin.spark.PySparkInterpreter.getSparkInterpreter(PySparkInterpreter.java:485) at org.apache.zeppelin.spark.PySparkInterpreter.createGatewayServerAndStartScript(PySparkInterpreter.java:174) at org.apache.zeppelin.spark.PySparkInterpreter.open(PySparkInterpreter.java:152) at org.apache.zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:74)在org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:68) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:92) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:302) at org.apache.zeppelin.scheduler.Job.run(Job.java:171) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745)
更新我的解决方案是将我的scala版本从2.11.*降到2.10.*，再次构建并运行。
回答 2
Stack Overflow用户
发布于 2016-01-18 18:00:25
我是根据你在评论中的回答作出某些假设的。听起来齐柏林飞艇的设置很好，当我看SparkCommandLine类时，它是火花芯的一部分。
现在齐柏林飞艇有了自己的最小嵌入式星火类，如果不设置SPARK_HOME，就会激活这些类。因此，首先，根据这个github页面、首页 (您正在设置的)和HADOOP_HOME (我不认为您正在设置)来查看是否消除您的底层Spark“修复”它：
没有SPARK_HOME和HADOOP_HOME，齐柏林飞艇使用您用mvn选项指定的嵌入式Spark和Hadoop二进制文件。如果您想使用zeppelin-env.sh中的系统提供的SPARK_HOME，导出SPARK_HOME和HADOOP_HOME，那么您可以使用任何支持的火花版本，而无需重新构建齐柏林飞艇。
如果这样做有效，那么您就知道我们正在研究Java类路径问题。为了解决这个问题，zeppelin-env.sh文件中还有一个设置，
ZEPPELIN_JAVA_OPTS提到在齐柏林飞艇的邮件列表上时，请确保将其设置为指向实际的Spark，这样JVM就可以使用-classpath来获取它。
下面是我的齐柏林飞艇进程比较的样子，我认为重要的部分是-cp参数，在您的系统上执行ps，并查看您的JVM选项，看看它是否类似地指向
/usr/lib/jvm/java-8-oracle/bin/java -cp /usr/local/zeppelin/interpreter/spark/zeppelin-spark-0.5.5-incubating.jar:/usr/local/spark/conf/:/usr/local/spark/lib/spark-assembly-1.5.1-hadoop2.6.0.jar:/usr/local/spark/lib/datanucleus-rdbms-3.2.9.jar:/usr/local/spark/lib/datanucleus-core-3.2.10.jar:/usr/local/spark/lib/datanucleus-api-jdo-3.2.6.jar
-Xms1g -Xmx1g -Dfile.encoding=UTF-8 -Xmx1024m -XX:MaxPermSize=512m -Dfile.encoding=UTF-8 -Xmx1024m -XX:MaxPermSize=512m -Dzeppelin.log.file=/usr/local/zeppelin/logs/zeppelin-interpreter-spark-jim-jim.log org.apache.spark.deploy.SparkSubmit --conf spark.driver.extraClassPath=:/usr/local/zeppelin/interpreter/spark/zeppelin-spark-0.5.5-incubating.jar
--conf spark.driver.extraJavaOptions= -Dfile.encoding=UTF-8 -Xmx1024m -XX:MaxPermSize=512m -Dfile.encoding=UTF-8 -Xmx1024m -XX:MaxPermSize=512m -Dzeppelin.log.file=/usr/local/zeppelin/logs/zeppelin-interpreter-spark-jim-jim.log
--class org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer /usr/local/zeppelin/interpreter/spark/zeppelin-spark-0.5.5-incubating.jar 50309希望这有帮助，如果这不起作用，请编辑您的问题，以显示您现有的类路径。
Stack Overflow用户
发布于 2016-08-30 18:21:52
齐柏林飞艇( Zeppelin )最近发布了支持Scala2.11和Spark2.0的0.6.1版。我也对这条错误消息感到困惑，因为我可以在类路径中清楚地看到我的Spark主目录。新版本的齐柏林飞艇( Zeppelin )非常好用；我目前正在使用Spark2.0/Scala2.11运行它。
https://stackoverflow.com/questions/34814836
复制相似问题
腾讯云开发者
