腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(961)
视频
沙龙
1
回答
Spark StackOverFlow上
的
配置单元错误
apache-spark
、
hive
、
cloudera
我在CDH 5.10上运行Spark上
的
Hive。我得到了下面的错误。我已经检查
了
YARN、Hive和Spark
的
所有日志,但除了以下错误之外,没有其他有用
的
信息:
由于
阶段
故障,
作业
已
中止
:
阶段
0.0
中
的
任务
0
失败
了
4次,
最近
一次
失败
:
阶段
0.0<
浏览 0
提问于2017-09-08
得票数 0
1
回答
有时无法与火花打开本机连接
cassandra
、
apache-spark
我运行星火
作业
与火花版本1.4和卡桑德拉2.18。我从师父那里打电话给卡桑德拉机器。有时工作运行良好,有时我得到以下异常。为什么这只是偶尔发生
的
事呢?“线程中
的
异常”org.apache.spark.SparkException:
由于
阶段
失败
而
中止
作业
:
阶段
0.0
中
的
任务
0
失败
4次,
最近
一次
失败</em
浏览 1
提问于2015-07-16
得票数 8
回答已采纳
1
回答
用于SQL Server和Azure SQL
的
Apache Spark Connector
azure
、
apache-spark
、
azure-databricks
com.microsoft.azure:spark-mssql-connector_2.12_3.0:1.0.0,将数据从Azure Databricks写入Azure SQL,但收到以下错误消息-
由于
阶段
故障,
作业
已
中止
:
阶段
1.0中
的
任务
0
失败
了
4次,
最近
一次
失败
:
阶段
1.0中
丢失
了
任务
浏览 23
提问于2021-04-01
得票数 2
1
回答
来自多个文件
的
Azure数据库星火表
sql
、
azure
、
apache-spark
、
databricks
我能够在一个XML文件上创建如下所示
的
表USING com.databricks.spark.xml path "/mnt/srcdir/我尝试了以下方法,但
失败
了
USING com.databricks.spark.xml path "/mnt/srcdir/",下面
浏览 0
提问于2018-03-22
得票数 0
1
回答
由于
阶段
失败
,
作业
中止
:
阶段
5.0中
的
任务
0
失败
了
1次,
最近
一次
失败
:
阶段
5.0中
丢失
了
任务
0.0
java
、
apache-spark
、
hadoop
、
intellij-idea
当我运行我
的
程序时,我得到了下面的错误。Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task
0
in stage 5.0 failed 1 times, most recent failure: Lost task
0.0
in stage 5.0 (TID 3, localhost, executor2.11</artifactId>
浏览 62
提问于2019-06-05
得票数 1
2
回答
在Spark2.0中筛选时类强制转换异常
scala
、
apache-spark
、
dataset
、
spark-dataframe
我有一个自定义对象
的
DataSet,它包含一个标签:Double和DenseVector。dataLF.filter(entry => entry.label == 1 && entry.features.values(
0
) ==
0
).count()
由于
阶段
失败
而
中止
作业
:
阶段
浏览 2
提问于2016-11-02
得票数 1
1
回答
fail显示火花放电
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
show
:org.apache.spark.SparkException:
由于
阶段
失败
而
中止
作业
:
阶段
1.0中
的
任务
0
失败
1次,
最近
的
失败
:
阶段
1.0中
丢失
的
任务
0.0
(TID 1) (10.75.81.111
浏览 1
提问于2021-11-04
得票数 0
1
回答
如何删除包含csv数据
的
RDD中包含空值
的
条目?
regex
、
scala
、
apache-spark
、
functional-programming
、
try-catch
我试图将csv文件中
的
值映射到RDD中,但是我得到了以下错误,因为其中一些字段为null。线程“主”org.apache.spark.SparkException中
的
异常:
由于
阶段
失败
而
中止
作业
:
阶段
0.0
中
的
任务
0
失败
1次,
最近
一次
失败
:
阶段
0.0
中
丢失
<
浏览 1
提问于2019-01-06
得票数 1
回答已采纳
1
回答
Spark不会显示()- Py4JJavaError:调用o426.showString时出错
apache-spark
、
pyspark
、
pyspark-dataframes
我有一个不能使用.show()
的
数据。每次它给出以下错误?是否有可能有一个损坏
的
列? Py4JJavaError:调用o426.howString时出错。:org.apache.spark.SparkException:
由于
阶段
失败
而
中止
作业
: 381.0
阶段
的
任务
0
失败
4次,
最近
的
失败
:
阶段
381.
浏览 0
提问于2018-12-06
得票数 2
回答已采纳
1
回答
rdd.pipe抛出grep
的
java.lang.IllegalStateException -i外壳命令?
bash
、
scala
、
apache-spark
、
rdd
我正在运行在RDD spark操作中使用管道
的
代码: 下面是我尝试过
的
代码片段: //PIPE - run a external shell script in spark val y = x.pipe("grep -i A")println(y.collect()) 但我得到
的</em
浏览 21
提问于2019-12-31
得票数 0
回答已采纳
1
回答
未能将RDD转换为数据格式
python
、
dataframe
、
apache-spark
我正在尝试将一个RDD转换为dataframe,但是它
失败
了
,出现
了
一个错误: org.apache.spark.SparkException:
由于
阶段
失败
而
中止
作业
:
阶段
2.0中
的
任务
0
失败
4次,
最近
的
失败
:
阶段
2.0中
丢失
的
任务
0.3
浏览 0
提问于2019-07-30
得票数 0
回答已采纳
1
回答
GraphFrames
的
PageRank中存在错误
pyspark
、
bigdata
、
pyspark-sql
、
pagerank
、
graphframes
我刚接触pyspark,正在尝试了解PageRank是如何工作
的
。我在Cloudera上使用Jupyter中
的
Spark 1.6。我
的
顶点和边(以及模式)
的
屏幕截图位于以下链接中:和#import relevant libraries for Graph Frames from pyspark import语法: org.apache.spark.SparkException:
作业
由于
阶段
失败
而
中止
:<e
浏览 6
提问于2018-05-25
得票数 0
1
回答
SparkException:卡方检验预期因素
python
、
apache-spark
、
pyspark
、
chi-squared
我有一个包含42个特征和1个标签
的
数据集。在执行决策树以检测异常之前,我想应用库square
的
选择器卡方选择器,但是我在卡方选择器
的
应用过程中遇到了这个错误: org.apache.spark.SparkException:
由于
阶段
失败
而
中止
作业
:
阶段
17.0中
的
任务
0
失败
1次,
最近
的
失败
:
阶段</e
浏览 3
提问于2019-10-29
得票数 2
1
回答
无法在databricks上运行john斯诺OCR笔记本
apache-spark
、
databricks
、
johnsnowlabs-spark-nlp
因此,我正试图跟踪这个笔记本,并让它在databricks笔记本上工作:;然而,在安装完所有的软件包之后,我仍然会在我到达
的
时候陷入困境。{ // for displayingregions.foreach{chunk=> println(chunk)}错误信息是: org.apache.spar
浏览 0
提问于2018-12-20
得票数 2
2
回答
SparkException:
作业
中止
cluster-computing
、
databricks
、
azure-databricks
由: org.apache.spark.SparkException:
由于
阶段
失败
导致
作业
中止
:
阶段
76.0中
的
任务
5
失败
4次,
最近
一次
失败
:
阶段
76.0中
丢失
任务
5.3 (TID 2334) (10.139.64.5可以通过在SQL中运行‘recreating’命令或通过重新创建所涉及
的
Dataset
浏览 8
提问于2022-02-24
得票数 0
回答已采纳
1
回答
如何在使用Sparksc.textFile读取文件时捕获BlockMissingException?
scala
、
hadoop
、
apache-spark
我可能遇到BlockMissingException
的
原因是,例如,如果文件存储在HDFS上,复制因子为1,而数据节点下降了。sc.emptyRDD[String] println("There are " + nLines + " lines") 线程“主”or
浏览 3
提问于2017-11-09
得票数 1
1
回答
火花上下文问题
sql
、
json
、
apache-spark
、
pyspark
:java.lang.ProcessBuilder.start(ProcessBuilder.java:1048):
由于
阶段
失败
而
中止
作业
:
阶段
27.0中
的
任务
0
失败
4次,
最近
一次
失败
:
阶段
27.0中
丢失
任务
(172.17.7.28执行器1):java.io.IOException:无法运行程序"py
浏览 4
提问于2021-07-22
得票数 0
2
回答
将字典列表转换为pyspark dataframe
python
、
list
、
dataframe
、
apache-spark
、
pyspark
pyspark.sql.types import StringType 我
的
理想结果如下|{"_id":2,"name":"yyy"}|+-----------------------------------------+ org.apach
浏览 2
提问于2021-02-18
得票数 0
2
回答
什么时候在星星之火上使用persist()不是实际
的
性能?
python-2.7
、
apache-spark
、
pyspark
、
apache-spark-2.3
在努力提高代码性能时,因为我有许多
作业
失败
(
中止
),每当我需要在许多其他操作中使用相同
的
数据same时,我就考虑在Spark上使用persist()函数。在执行
任务
时,以及在Spark应用程序UI中
的
各个
阶段
,我觉得这样做并不总是最优
的
,这取决于分区
的
数量和数据大小。我不确定,直到我因为坚持
阶段
的
失败
而放弃
了
这份工作。更确切地说,我将介绍我
的
代码
浏览 2
提问于2019-02-12
得票数 8
1
回答
应用过滤器利用数据库摄取Cosmos Mongo数据
aggregation-framework
、
azure-cosmosdb
、
databricks
、
azure-cosmosdb-mongoapi
sourceCosmosDocument) \.load() .option('pipeline', json.dumps(query)) \错误: org.apache.spark.SparkException:
由于
阶段
失败
而
中止
浏览 11
提问于2022-11-11
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
是时候升级二阶段提交协议了
又一家美国公司的火箭成功进入轨道,一上来就抢了SpaceX的生意
Flink Checkpoint 原理流程以及常见失败原因分析
vivo AI计算平台弹性分布式训练的探索和实践
基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券