每当我创建一个新笔记本并运行一个段落,我就会得到NullPointerException错误。如果我从现有的笔记本上跑,那就没问题了。
java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
at org.apache.zeppelin.spark.SparkInterpreter.createSparkContex
Amazon EMR does not currently support use of the Apache Hadoop S3A file system, The s3a:// URI is not compatible with Amazon EMR说:我和Spark一起开发了Amazon EMR,基于亚马逊()的这篇文档。
但是,我可以使用"s3a://“在spark作业中进行读写,而不会出现问题。(注意:我使用的是"com.amazonaws" % "aws-java-sdk-s3" % "1.11.286",EMR版本是emr
在Amazon EMR集群上运行spark作业后,我直接从s3中删除了输出文件,并再次尝试重新运行该作业。在尝试使用sqlContext.write在s3上写入拼图文件格式时,我收到以下错误:
'bucket/folder' present in the metadata but not s3
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:455)
我试着跑步
emrfs syn
AWS EMR5.0预打包了Spark: Spark 2.0.0 on Hadoop 2.7.2 YARN with Ganglia 3.7.2 and Zeppelin 0.6.1,但是Zeppelin0.6.1只支持Spark1.6.x。有没有办法在不构建和部署Zeppelin的自定义版本的情况下解决版本差异?
我使用齐柏林0.10.0运行火花作业,我已经安装在码头上,一旦我打开齐柏林飞艇运行笔记本,我得到以下错误。
org.apache.zeppelin.interpreter.InterpreterException: java.io.IOException:未能检测scala版本,原因是:无法运行程序“null/bin/火花提交”:error=2,在org.apache.zeppelin.interpreter.remote.RemoteInterpreter.open(RemoteInterpreter.java:129) at org.apache.zeppelin.interpreter.
我有一个EMR无服务器应用程序,不能连接到另一个地区的S3桶。有解决办法吗?可能是在提交新作业时在“作业参数”或“星火参数”中设置的参数。错误是:
ExitCode: 1. Last few exceptions: Caused by: java.net.SocketTimeoutException: connect timed out Caused by: com.amazon.ws.emr.hadoop.fs.shaded.org.apache.http.conn.ConnectTimeoutException