腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

写代码的海盗

专栏作者

53

文章

63244

阅读量

26

订阅数

spark的若干问题

spark hadoop 分布式 yarn

问题1：SPARK与HADOOP之间的关系？　　spark是一种高效处理hadoop分布式数据的处理引擎。借助hadoop的yarn框架，spark就可以运行在hadoop集群中。同时spark也可以处理存储在hdfs、Hbase、Cassandra、hive和所有存储在hadoop中的数据。spark可以采取类似于hadoop的mapreduce的方式处理一般数据，也可以采取stream的方式处理流式数据。问题2：SPARK支持的开发语言？　　spark支持scala、java和python三种语言

随机来个数

2018-04-16

6670

spark在yarn-cluster上面执行报错

spark yarn scala

在单机模式下执行成功的spark程序，在yarn上面就报错。异常信息如下： 1 14/08/14 02:05:42 INFO DAGScheduler: Completed ResultTask(2, 0) 2 14/08/14 02:05:42 INFO DAGScheduler: Stage 2 (saveAsTextFile at FileUtil.scala:114) finished in 0.179 s 3 14/08/14 02:05:42 INFO SparkContext: Job

随机来个数

2018-04-16

1.3K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态