腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
纱线
集群
上
分配
sparkContext
错误
、
我的代码
在
本地模式下工作,但在yarn (客户端或
集群
模式)下,它停止了,并显示以下
错误
: Exception in thread "main" org.apache.spark.SparkExceptionorg.apache.spark.rdd.ParallelCollectionPartition.readObject(ParallelCollectionRDD.scala:70) 我不明白为什么它在本地模式下工作,而不是
在
纱线
模式下工作问题出在rdd.foreach内部的<em
浏览 27
提问于2019-02-27
得票数 0
回答已采纳
2
回答
Apache Zeppelin可以
在
一段时间后自动关闭
SparkContext
并重新打开它吗?
、
、
我
在
独立模式下设置了一个简单的Spark
集群
,并希望使用Apache Zeppelin作为交互式Spark "scratchpad“。不幸的是,当
SparkContext
启动时,它会占用我的实验
集群
上
的所有内核。我知道有一个名为“动态
分配
”的新功能,但它只适用于
纱线
。我在这个
集群
上
没有YARN,我也不想运行一个成熟的Hadoop堆栈,因为我想使用Cassandra作为数据后端。
在
不使用
纱线</em
浏览 3
提问于2015-09-06
得票数 1
1
回答
Apache Spark
在
多节点hadoop
集群
中的应用
、
、
、
此代码
在
hadoop单节点
集群
中工作。但是,当我试图
在
hadoop多节点
集群
中使用它时,它会将
错误
抛出 org.apache.spark.SparkException: Detected yarn-cluster mode, but isn'tDeployment to YARN is not supported directly by
SparkContext
. Please use spark-submit.注:我已使用主机作为本地单节点,
纱线
集群
浏览 0
提问于2015-08-04
得票数 1
回答已采纳
4
回答
使用
纱线
群集模式初始化
SparkContext
时出错
、
、
、
我正在运行一个简单的代码来
在
hdfs
上
创建一个文件,并向其写入内容并关闭该文件。我能够
在
本地模式以及
纱线
-客户端模式下运行此代码。但是,当我使用
纱线
-
集群
模式运行相同的代码时,我得到的代码与Error initializing
SparkContext
相同。os = file.create(new Path(uri))os.close()
浏览 2
提问于2017-01-27
得票数 3
2
回答
如何使用python多处理
在
Spark中运行多个并发作业
、
、
、
我已经
在
我的笔记本电脑
上
的
纱线
集群
上
设置了一个Spark,并且使用python多处理
在
Spark中运行多个并发作业时遇到了问题。我运行的模式是纱-客户模式。我尝试了两种方法来实现这个目标: 设置一个
SparkContext
并创建多个进程来提交作业。此方法不起作用,程序崩溃。我想单个
SparkContext
不支持python多个进程。对于每个进程,设置一个
SparkContext
并提交作业。在这种情况下,作业成功地提交给
纱线
浏览 2
提问于2015-11-09
得票数 2
1
回答
HDInsigh Spark如何使用以下代码
、
、
我的意思是如何在
集群
节点之间调度作业。假设我有2个头节点和4个工作节点,哪些代码将在头节点
上
运行,哪些代码将在工作节点
上
运行? 我如何让Spark知道我想要在工作节点
上
执行一些代码?
浏览 30
提问于2019-09-24
得票数 0
6
回答
星火中的
纱线
客户模式是什么?
、
我的问题是,
纱线
-客户模式到底意味着什么?文件中说: 与
纱线
独立模式的具体区别是什么?
浏览 5
提问于2013-12-27
得票数 53
回答已采纳
1
回答
如何从python应用程序中查询spark?
、
、
我已经设置了一个测试卡桑德拉+星火
集群
。web
上
的所有文档似乎都显示了如何使用spark的python (其中上下文'sc‘是隐式提供的)。 我需要能够从一个独立的python脚本(可能是一个为web页面服务的脚本)中运行激发SQL。我没有找到任何文档,也没有
在
频道上找到任何帮助。我只是想错了吗?是否还有其他工具可以向技术含量较低的用户提供spark?我是全新的火花。
浏览 4
提问于2016-01-06
得票数 0
回答已采纳
1
回答
在
星火
纱线
集群
中,容器如何工作取决于RDD分区的数量?
、
、
、
我有一个关于Apache (
纱线
集群
)的问题。 val sparktest = sc.textFile("/spark_test/58GB.dat",10) val test = sparktest.flatMap(line=> line.split(
浏览 1
提问于2015-03-13
得票数 0
回答已采纳
1
回答
PySpark
在
纱线
客户端模式下运行,但在
集群
模式下失败,因为“用户没有初始化火花上下文!”
、
、
、
、
标准dataproc映像2.0 testing_dep.pyimport os我可以
在
客户端模式下运行testing_dep.py (默认情况下为dataproc): gcloud dataproc jobs submit/testing_dep.py --cluster=pyspark
浏览 33
提问于2022-01-11
得票数 3
回答已采纳
1
回答
为火星团
上
的jupyter笔记本指定python文件
、
、
、
我
在
星团
上
运行一个jupyter笔记本(与
纱线
)。我正在使用"findspark“包来设置笔记本,它工作得非常好(我通过SSH隧道连接到
集群
主机)。(appName='myApp')a.take(10)火花的工作完全
分配
给工人们。但是,当我想使用我编写的python包时,将文件丢失
在
workers
上
。)然后 spark-submit
浏览 2
提问于2017-12-08
得票数 6
回答已采纳
3
回答
星火提交会自动上传jar到
集群
吗?
我正在尝试提交一个星火应用程序从本地机器终端到我的
集群
。我在用--master yarn-cluster。我也需要在
集群
上
运行驱动程序,而不是
在
我提交应用程序的机器
上
,即我的本地机器
上
。当我
在
本地机器中提供到应用程序jar的路径时,是否会自动将其上传到
集群
?--num-executors 50 /Users/nish1013/proj1/target/x-service-1.0.0-2015121411
浏览 4
提问于2015-12-21
得票数 20
4
回答
纱线
簇
上
的PySpark分布式处理
、
、
、
我
在
ClouderaCDH5.3
集群
上
运行了Spark,使用Spark作为资源管理器。我正在用Python (PySpark)开发火花应用程序。我可以提交作业,它们可以成功地运行,但是它们似乎从来不运行在多台机器
上
(我提交的本地机器)。我尝试过多种选择,比如将部署模式设置为
集群
,--主从于
纱线
客户端和
纱线
集群
,但它似乎从未在多台服务器
上
运行过。我有一个非常简单的Python脚本,处理来自HDFS的数据,如下所示: import sim
浏览 3
提问于2015-01-30
得票数 12
回答已采纳
1
回答
SparkContext
.addJar
在
本地模式下不工作。
如果我以
纱线
集群
模式提交spark作业,如果jar文件没有包含在根据addJar命令的选项--jars中,那么 ()将无法工作。如果您将
SparkContext
.addJar函数与本地文件一起使用并在
纱线
集群
模式下运行,则--jars选项允许它工作。原因是驱动程序运行在与客户端不同的机器
上
。因此,命令中的选项--jars似乎来自客户端,函数addJar()只能在驱动程序中的jars上工作。 然后我做了一个本地模式的测试。1.spark-shell --master local --jar
浏览 3
提问于2017-03-22
得票数 3
回答已采纳
1
回答
SparkContext
Java从AWS部署作业和MapReduce
、
、
、
Hi正在搜索web和amazon文档,以了解如何在aws
上
现有的emr
纱线
集群
上
运行spark作业。 private static SparkConf conf;
浏览 0
提问于2019-02-10
得票数 1
回答已采纳
1
回答
自动设置Dataproc
集群
后Yarn/Spark的内存
分配
不正确
、
、
我正尝试
在
Dataproc
集群
上
运行Spark作业,但由于Yarn配置
错误
,Spark无法启动。从shell运行"spark-shell“时(
在
主机上本地运行),以及从本地计算机通过web-GUI和gcloud命令行实用程序上传作业时,我收到以下
错误
: 15/11/08 21:27:16 ERRORorg.apache.spark.
SparkContext
: Error initializing
SparkContext</
浏览 0
提问于2015-11-09
得票数 10
回答已采纳
1
回答
如果没有
在
工人节点
上
安装火花(
纱线
),如何启动火花执行器?
、
、
我有一个关于
在
集群
模式下在
纱线
上运行Apache的问题。根据,Spark本身不必安装在
集群
中的每个(worker)节点
上
。我的问题是火花执行者:一般来说,
纱线
,或者更确切地说,是由资源经理来决定资源
分配
。因此,可以
在
集群
中的任意(worker)节点
上
随机启动火花执行器。但是,如果没有在任何(工人)节点
上
安装火花,那么如何通过
纱线
启动火花执行器呢?
浏览 7
提问于2016-12-16
得票数 2
回答已采纳
1
回答
应用程序母版或群集管理器是否启动容器/执行者-火花?
让我们说,我们有一个火花作业运行在
集群
模式,其中
集群
管理器是
纱线
。用户向
集群
管理器提交一个预编译的JAR、Python .
集群
管理器告诉特定的节点管理器启动应用程序母版。是火花驱动程序,然后
在
应用程序母版
上
运行。驱动程序将包含转换和操作的用户代码转换为一个名为DAG的逻辑计划。然后将DAG转换为物理执行计划应用程序主程序,然后与
集群
管理器通信并协商资源。此时,
集群
管理器是
分配
纱线
浏览 0
提问于2020-05-31
得票数 0
回答已采纳
3
回答
如何使笔记本
在
第一项工作中运行得更快
、
由于您可以参考快照,当您第一次运行笔记本时,完成这项工作需要很长时间(大约是。超过1分钟)。
浏览 7
提问于2017-02-05
得票数 2
回答已采纳
1
回答
SparkConf和
sparkContext
的用途
sparkContext
和sparkConf的用途是什么?寻找细节
上
的差异。超过下面的定义: Spark Context是任何spark应用程序的入口点,用于访问所有spark特性,并且需要一个包含所有
集群
配置和参数的sparkConf来创建Spark Context对象。
浏览 0
提问于2020-05-02
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Zzreal的大数据笔记-SparkDay03
Zzreal的大数据笔记-SparkDay01
大数据基础:Spark工作原理及基础概念
Kafka你真的了解吗?
大数据中的Spark 优秀的计算框架 总结内容免费分享给你 过来拿吧
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券