星星之火EC2在我开始工作时抛出EOFException
提问于 2014-09-12 10:04:47
我正试图在我的星火集群上运行我的星火作业，我使用他们提供的Spark-ec2脚本创建了这个集群。我能够运行SparkPi示例，但是每当我运行我的工作时，我都会得到这个异常：
Exception in thread "main" java.io.IOException: Call to ec2-XXXXXXXXXX.compute-1.amazonaws.com/10.XXX.YYY.ZZZZ:9000 failed on local exception: java.io.EOFException
at org.apache.hadoop.ipc.Client.wrapException(Client.java:1107)
at org.apache.hadoop.ipc.Client.call(Client.java:1075)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at com.sun.proxy.$Proxy6.setPermission(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at com.sun.proxy.$Proxy6.setPermission(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.setPermission(DFSClient.java:1042)
at org.apache.hadoop.hdfs.DistributedFileSystem.setPermission(DistributedFileSystem.java:531)
at org.apache.spark.util.FileLogger.createLogDir(FileLogger.scala:93)
at org.apache.spark.util.FileLogger.start(FileLogger.scala:70)
at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:71)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:252)
at com.here.traffic.collection.archiver.IsoCcMergeJob$.isoMerge(IsoCcMergeJob.scala:55)
at com.here.traffic.collection.archiver.IsoCcMergeJob$.main(IsoCcMergeJob.scala:11)
at com.here.traffic.collection.archiver.IsoCcMergeJob.main(IsoCcMergeJob.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:292)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:392)
at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:804)
at org.apache.hadoop.ipc.Client$Connection.run(Client.java:749)从我所读到的在互联网上寻找解决方案的文章来看，它看起来可能与Hadoop版本不匹配，但我验证了Spark使用的是1.0.4，我的工作是用相同的版本编译的。
为了提供更多的上下文，我的工作是对驻留在S3中的两个文件进行左外部连接，并将结果再次放入S3中。
有什么不对的吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2014-09-15 17:59:30
我也有过类似的使用ec2脚本的经验，当我们使用cloudera发行版(5.1)来处理集群(通过一个很好的简单apt-get)和jar依赖时，几乎所有的版本问题都消失了。
安装火花：installation.html
添加星星之火作为依赖项(搜索文本“text”)：
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/25814218
复制相关文章
腾讯云开发者
