腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
spark
pi
示例
运行
,
但未
分配
任何
工作
资源
apache-spark
、
pyspark
我正在
运行
pi
示例
。它可以很好地执行并返回结果。 但是,对于
工作
人员,我只能看到它是活的,没有使用
任何
资源
!没有填写职务详细信息,什么也没有。 我在本地
运行
spark
。start-master.sh -h 127.0.0.1 start-slave.sh
spark
://127.0.0.1:7077 ? ?
浏览 22
提问于2020-07-09
得票数 0
回答已采纳
1
回答
在k8的问题上点燃装罐
apache-spark
、
kubernetes
我正试图在kubernetes上
运行
一个
示例
星星之火应用程序(在星火
示例
jar中提供),并试图理解其行为。在这个过程中,我做了以下
工作
, --class org.apache.
spark
.examples
浏览 2
提问于2019-03-29
得票数 1
回答已采纳
2
回答
火花动态
分配
不起作用
apache-spark
、
hadoop-yarn
、
hortonworks-data-platform
、
dynamic-allocation
=org.apache.
spark
.network.yarn.YarnShuffleService .\--executor-memory 512m\当我测试提交带有指定数
浏览 3
提问于2016-07-20
得票数 0
1
回答
动态
资源
分配
和排队应用程序
hadoop
、
apache-spark
、
amazon-ec2
、
hadoop-yarn
、
amazon-emr
根据这个 启用星火动态
资源
分配
时,所有
资源
都
分配
给第一个可用的提交作业,从而导致随后的应用程序排队。若要允许应用程序并行获取
资源
,请将
资源
分配
到池中并
运行
这些池中的应用程序,并允许抢占在池中
运行
的应用程序。我看到的是,如果我提交多个星火应用程序(对
spark
-submit的不同调用),当我在EMR上查找我的
资源
管理器时,所有的应用程序都会被接受,但一次只
运行
一个。现在,这可能是因
浏览 10
提问于2017-10-31
得票数 0
1
回答
纱线上的火花2自动利用更多的簇
资源
apache-spark
、
hadoop-yarn
、
cloudera-cdh
我是在CDH 5.7.0,我可以看到一个奇怪的问题,火花2
运行
在纱线集群。以下是我的
工作
提交命令
spark
2 2-提交--主纱--部署模式集群--conf "
spark
.executor.instances=8“--conf "
spark
.executor.cores=4”--conf "
spark
.executor.memory=8g“--conf "
spark
.driver.cores=4”--conf "<em
浏览 3
提问于2017-03-22
得票数 1
2
回答
星火如何独立实施
资源
分配
apache-spark
我一直在阅读
Spark
的源代码,但我仍然无法理解
Spark
是如何独立实现
资源
隔离和
分配
的。例如,Mesos使用LXC或Docker来实现容器,以限制
资源
。那么,如何独立地实现这一点。例如,我在一个执行器中
运行
了10个线程,但是
Spark
只给了执行器一个内核,那么如何保证这10个线程只在一个cpu内核上
运行
。 经过下面的测试代码,发现火花独立
资源
分配
在某种程度上是假的。我只有一个执行者(执行者),只给执行者一个核心(机
浏览 10
提问于2016-11-26
得票数 3
回答已采纳
2
回答
Helm -火花操作员
示例
/火花-
pi
.yaml不存在
apache-spark
、
kubernetes
、
google-cloud-platform
、
google-kubernetes-engine
、
kubernetes-helm
我已经使用将
Spark
运算符部署到GKE,并将其部署到自定义命名空间中:并使用helm status sparkoperator确认了
运行
在集群中的操作符。然而,当我试图
运行
Spark
示例
kubectl apply -f examples/
spark</
浏览 0
提问于2020-02-20
得票数 0
回答已采纳
1
回答
“SparkSession”对象没有属性“sparkContext”
python
、
apache-spark
、
pyspark
我有
Spark
2.0.0,我正在尝试
运行
Spark
源代码中的一些Python
示例
。
spark
-submit
pi
.py 2Traceback (most recent call last): File "/home/docker-user/src/hellospark/src/main/python/
pi
.py"
浏览 1
提问于2016-07-21
得票数 0
1
回答
YARN申请的
资源
处于非活动状态,其他作业会使用吗?
apache-spark
、
hadoop
、
hadoop-yarn
我
运行
了一个
spark
任务,在纱线上
分配
了大量的
资源
,而且这个任务持续了很长时间。 最后,
spark
作业的任务只是活动的一个核心和两个核心。我想知道不活跃的
资源
是不是可以被其他
spark
工作
或mr
工作
使用。 或者只完成第一个
spark
作业,
资源
就可以被其他作业使用。
浏览 12
提问于2021-08-09
得票数 0
回答已采纳
1
回答
解释星火配置的区别
apache-spark
、
pyspark
我必须将我的
spark
应用程序中的执行器数设置为20个。
spark
.dynamicAllocation.initialExecutors = 20
spark
.dynamicAllocation.enabled
浏览 5
提问于2020-09-13
得票数 1
回答已采纳
1
回答
使用Apache
Spark
Hidden REST API提交python脚本
apache-spark
、
pyspark
我需要使用Apache
Spark
Hidden REST API提交一个py文件,因为我遵循了教程,我找不到
任何
关于如何提交py文件的
示例
或文档。curl -X POST http://
spark
-cluster-ip:6066/v1/submissions/create --header "Content-Type": "/path/to/py/file
浏览 33
提问于2018-05-22
得票数 2
回答已采纳
1
回答
覆盖
Spark
应用程序
资源
需求
apache-spark
我目前正在建立一个
Spark
集群,将由几组客户使用,我对
Spark
中的
资源
分配
方法有点困惑。似乎
Spark
集群的治理模型有点欠缺,因为每个应用程序都可以指定自己的
资源
需求,从而有效地消耗整个集群并阻塞其他应用程序。我知道我可以使用
spark
.deploy.defaultcores来避免应用程序意外地请求所有可用内核的情况,但这仍然会导致应用程序指定的
spark
.cores.max远远高于其实际应该获得的值。有什么方法可以覆盖单个应用程序指定的
资
浏览 0
提问于2016-12-01
得票数 1
5
回答
在yarn集群中
运行
时,我们在哪里可以看到
spark
输出控制台
apache-spark
、
hadoop
、
hadoop-yarn
我是
Spark
,Hadoop和Yarn的初学者。我用:安装
Spark
和Hadoop/Yarn。我的目标是在纱线集群上
运行
spark
应用程序,但我有问题。我们怎么知道我们的设置什么时候
工作
呢?我将向您展示我的
示例
。在完成设置之后,我尝试
运行
测试jar : examples/jars/
spark
-examples*.jar。当我在本地使用./bin/
spark
-submit --cla
浏览 2
提问于2019-02-11
得票数 3
1
回答
spark
-submit:工人不会被
分配
到主进程
apache-spark
、
spark-streaming
我尝试在单个虚拟机上以独立模式
运行
spark
-submit的
spark
streaming应用程序,但worker没有
分配
到驱动程序。我一直收到这样的警告:“初始作业没有接受
任何
资源
;检查您的集群UI以确保
工作
进程已注册并具有足够的
资源
”。 但问题是,没有其他应用程序在
运行
,而且有足够的内存,所以
资源
不是问题。当我查看
Spark
UI时,我看到应用程序正在
运行
,但它处于“等待”状态
浏览 0
提问于2016-03-11
得票数 0
2
回答
将该值重置为配置"
spark
.executor.instances“
apache-spark
我想在提交
spark
应用程序时使用
spark
的动态
资源
分配
,但在
spark
-defaults.conf文件中,属性
spark
.executor.instances的值被设置为16。据我所知,如果我们想使用动态
资源
分配
,我不应该设置
spark
.executor.instances。否则,即使启用了动态
资源
分配
,它也会被属性
spark
.executor.instances覆盖。我不能编
浏览 319
提问于2020-07-22
得票数 1
回答已采纳
1
回答
管理
资源
以在同一集群上
运行
多个
spark
应用程序
apache-spark
、
hadoop-yarn
、
amazon-emr
我正在尝试在同一个集群上
运行
两个
spark
应用程序。YARN是正在使用的
资源
管理器。我的两个
spark
应用程序都使用动态
分配
。同时
运行
这两个应用程序的方法有哪些?我知道在启动应用程序之前,我可以手动为每
浏览 2
提问于2018-12-01
得票数 0
2
回答
集群中MapReduce和
Spark
作业的
资源
分配
hadoop
、
apache-spark
、
mapreduce
、
hadoop-yarn
我无法理解为Map Reduce和
Spark
作业
分配
资源
的内部机制。在同一个集群中,我们可以
运行
Map Reduce和
Spark
作业,但是对于
运行
map reduce作业,内部
资源
管理器将为作业
分配
可用的
资源
,如数据节点和任务跟踪器。当涉及到
Spark
上下文时,它需要
工作
节点和执行器(内部为JVM)来计算程序。 这是否意味着Map Reduce和
Spark
作业将有不同的节点?如果不
浏览 1
提问于2017-06-10
得票数 1
2
回答
火花2.3 - Minikube - Kubernetes - Windows SparkPi未找到
windows
、
apache-spark
、
kubernetes
特别是,当我跑步时:
spark
-submit.cmd --master k8s://https://192.168.1.40:8443 --deploy-mode cluster --name
spark
-
pi
=
spark
:
spark
--conf
spark
.kubernetes.driver.pod.name=
spark
-
pi
-driver local:///opt/
浏览 0
提问于2018-03-17
得票数 0
2
回答
我们能给
Spark
应用程序
分配
比集群更多的内存吗?
apache-spark
假设
spark
集群是一个独立的集群。具有1 1GB内存的主设备和具有1 1GB内存的从设备。 我的意思是,如果你提交的程序比它本身的集群需要更多的内存,会发生什么?
浏览 0
提问于2016-04-19
得票数 0
1
回答
在纱中
运行
火花时从
资源
中读取
apache-spark
、
hadoop-yarn
在我的星火作业中,我从
资源
文件中读取了一些额外的数据。几个例子Resources.getResource("/more-data") 它在本地
工作
得很好,当我从星星之交master=local*
运行
时,我只需要添加-conf=scapk.driver.exClassPath我尝试了
spark
.yarn.dist.files,没有帮助,也许我需要添加一些东西?
浏览 2
提问于2019-02-12
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
零基础怎么学spark?成都大数据开发学习
Spark 运行架构以及常用组件
Zzreal的大数据笔记-SparkDay01
Komodo Health 公司如何在 EKS 与 EMR 6 上使用多租户 Notebook 平台建立自助服务分析方案
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券