我正在使用azure工作空间运行一个吡火花作业。我的星火作业失败了,有以下错误。有人能帮我调试这个错误吗?: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 94.0 failed 4times, most recent failure: Lost task 0.3 in stage 94.0 (TID 2313) (vm-1d164027 executor 3): j
问题是,当我从spark目录内部使用命令./bin/pyspark ..-1.4.1-hadoop2.2.0.jar at java.io.DataInputStream.readInt(DataInputStream.java-1.4.1-hadoop2.2.0.jar at java.io.DataInputStream.readInt(DataInputStream.java-1.4.1-hadoo
我正试图在我的星火集群上运行我的星火作业,我使用他们提供的Spark-ec2脚本创建了这个集群。Call to ec2-XXXXXXXXXX.compute-1.amazonaws.com/10.XXX.YYY.ZZZZ:9000 failed on local exception: java.io.EOFExceptionat org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:71)
在编写到Hadoop的大约180 k的parquet表之后,python意外地由于EOFException而崩溃。崩溃后,我可以使用PySpark过滤掉我已经准备好运行的运行,但在再运行几千次之后,它将再次使用相同的EOFException崩溃。我使用的是foreach,因为我不关心任何返回的值,只是想要将表写到Hadoop。 at java.l
当我试图从spark (使用Java)流到secured (使用SASL明文机制)时,我得到了这个错误。更详细的错误消息:
17/07/07 14:38:43 INFO SimpleConsumer: Reconnect due to socket error: java.io.EOFException:Exception in thread "main" org.apache.spark.SparkException: java.io.EOFExcepti
我已经使用Spark1.3.0,并使用它来编写Parquet文件到Openstack对象商店一段时间。我使用了大约12个parquet文件,它写在斯威夫特上的几个部分的地板文件。写文件没问题。但当我试图通过星火读取它时,我会发现以下错误:java.io.EOFException(ShuffleMapTask.scala:41)
at org.apache.sp