腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
Kubernetes
在
客户端
模式
下
运行
spark
的
两个
独立
映像
,
使用
Apache-Spark
3.2.0
的
Python
?
、
、
、
我
使用
以下脚本部署了Apache
Spark
3.2.0
,该脚本从
Python
的
分发文件夹中
运行
: ./
kubernetes
/dockerfiles/
spark
/bindings/
python
/Dockerfile build 我可以
使用
Spark
-Submit
在
K8s
下
创建一个容器。我
的</em
浏览 37
提问于2021-11-15
得票数 1
2
回答
如何
使用
spark
-submit
在
Kubernetes
(minikube)上提交PySpark作业
、
、
、
我
的
笔记本电脑上有一个本地
的
PySpark作业。如果我想
使用
spark
-submit
在
minikube集群上提交它,你知道如何传递
python
文件吗?.
spark
.
kubernetes
.container.image.pullPolicy=Always \ --conf
spark
.
kubernetes
.container.image.pullS
浏览 1
提问于2020-05-10
得票数 1
3
回答
如何在库伯奈特斯上
独立
运行
火种?
、
、
我有一个Scala应用程序,它在
独立
模式
下
使用
Spark
2.1。应用程序将
运行
2小时并完成。它应该每月
运行
一次。我发现了几种结合
Spark
和
Kubernetes
的
方法: 大多
浏览 4
提问于2017-06-26
得票数 3
1
回答
混淆
使用
Yarn资源管理器
、
、
、
我正尝试
在
Amazon AWS中
运行
一个简单
的
pyspark作业,它被配置为通过
spark
-default.conf文件
使用
Yarn。我对Yarn部署代码有点困惑。(conf=conf) 在这种情况
下
,当指定了'yarn-client‘时,我不确定我应该如何执行
spark
作业。我通常这样做: $
spark
-submit --deploy-mode client
spark
-job.py 但是这两者
的
区别是什
浏览 3
提问于2020-01-27
得票数 1
回答已采纳
11
回答
环境变量PYSPARK_
PYTHON
和PYSPARK_DRIVER_
PYTHON
、
、
、
它是正确安装
的
。当我
在
python
中
使用
下面的简单程序时,我会得到一个错误。SparkContext>>data = range(1,1000)>>rdd.collect() 在
运行
最后一行时(0 + 0) / 4]18/01/15 14:36:32 ERROR Executor: Exception in task 1.0
浏览 22
提问于2018-01-15
得票数 36
回答已采纳
1
回答
在
kubernetes
集群中
使用
spark
_sklearn
、
、
、
我最初
使用
的
是scikit-learn (sklearn)库。
在
模型优化
的
过程中,我
使用
了sklearn中
的
经典GridSearchCV类。它当前
使用
来自
运行
api
的
主机(joblib库)
的
所有资源进行并行。我设法设置了一个
spark
集群,其中有一个master和2个worker。下面的代码
运行
与前面相同
的
任务,但是
使用
spark</em
浏览 0
提问于2019-11-07
得票数 0
3
回答
码头停车火花容器退出
、
、
、
、
/start-master.sh脚本如何保持容器
运行
?如何保持它
运行
时,开始与码头-撰写?
浏览 7
提问于2016-04-07
得票数 3
回答已采纳
2
回答
火花执行器
在
Kubernetes
上失败- resourceProfileId失踪了
、
、
、
我正在尝试从
Spark
3.0.1升级到3.1.1。from pyspark import SparkContext, SparkConf
浏览 13
提问于2021-03-04
得票数 0
回答已采纳
2
回答
在
Kubernetes
装载Hadoop-Azure
、
在
使用
新
的
Kubernetes
特性
运行
时,我试图让Apache加载Hadoop。无论我如何努力,Apache总是
在
尝试
使用
java.lang.classnotfoundexception: wabs//
模式
加载文件时出现以下错误://
模式
FROM
spark
:latestCOPY *.jar $
SPARK
_HOME/
浏览 8
提问于2021-04-16
得票数 0
回答已采纳
1
回答
火花执行错误: worker中
的
Python
有不同
的
版本
、
、
我
运行
火花在
独立
模式
,
在
Windows 8
使用
anaconda3.5,ipython笔记本。+ "/
python
")sys.path.append(
spark
_path + "/
python
/: rdd = s
浏览 2
提问于2017-05-30
得票数 2
回答已采纳
1
回答
Kerberos认证与
运行
在
Kubernetes
集群上
的
星火
独立
集群Hadoop集群
、
、
、
、
我已经
在
Kubernetes
上建立了
Spark
独立
集群,并且我正在尝试连接一个Kerberized集群,它不是
在
Kubernetes
上。我已经将core-site.xml和hdfs-site.xml放在了我
的
Spark
集群
的
容器中,并相应地设置了HADOOP_CONF_DIR。我能够
在
Spark
容器中成功地为访问Hadoop集群
的
主体生成kerberos凭据缓存。但是,当我
浏览 3
提问于2020-05-11
得票数 1
1
回答
我是否需要在所有worker机器上
运行
spark
-submit,并在同一worker机器内
的
k8s集群上
运行
Spark
作业?
、
、
现在我想在k8s集群上部署一个
spark
作业,我想知道是否需要在所有的worker机器上安装和配置
spark
。
浏览 3
提问于2020-01-29
得票数 0
1
回答
如何在k8s上
使用
舵图实现星火
、
、
我正在尝试
使用
在上
运行
。我可以看到,默认情况
下
,它会将1主和2执行程序分开,并在ClusterIP上公开端口:8080。我不想
使用
k8s作为
spark
的
集群管理器。我试图了解是否有一种方法可以将
spark
作为应用程序托管
在
k8s上,并将作业提交给它,因
浏览 0
提问于2019-04-17
得票数 2
回答已采纳
16
回答
在
python
shell中导入pyspark
、
、
这是另一个论坛上其他人
的
问题
的
副本,没有人回答,所以我想我应该在这里再问一次,因为我也有同样
的
问题。(参见) 我已经
在
我
的
机器上正确安装了
Spark
,并且
在
使用
./bin/pyspark作为我
的
python
解释器时,能够正确地
运行
带有pyspark模块
的
python
程序。然而,当我试图
运行
常规
的
Pyt
浏览 63
提问于2014-04-24
得票数 125
回答已采纳
1
回答
Spark
workers无法通过服务网格连接到
Spark
master
、
、
、
我正在
运行
Kubernetes
集群,其中我
在
不同
的
场合启用了
两个
服务网格Istio和Linkerd。当我尝试部署
Spark
独立
集群,其中每个
Spark
worker和Master将在不同
的
pods中
运行
时,worker无法连接到
Spark
Master。可以在从worker到master
的
服务(通过侧车)上
运行
curl请求,以获取
Spark
Ma
浏览 64
提问于2020-02-13
得票数 1
3
回答
Apache :
客户端
和集群部署
模式
的
不同
、
TL;DR:星火
独立
集群中
的
,
客户端
和集群部署
模式
之间有什么不同?如何设置应用程序将在哪种
模式
上
运行
?我们有一个星火
独立
的
集群,有三台机器,所有这些机器都有
Spark
1.6.1: (...)对于
独立</e
浏览 5
提问于2016-05-04
得票数 40
回答已采纳
4
回答
纱线簇上
的
PySpark分布式处理
、
、
、
我
在
ClouderaCDH5.3集群上
运行
了
Spark
,
使用
Spark
作为资源管理器。我正在用
Python
(PySpark)开发火花应用程序。我可以提交作业,它们可以成功地
运行
,但是它们似乎从来不
运行
在多台机器上(我提交
的
本地机器)。我尝试过多种选择,比如将部署
模式
设置为集群,--主从于纱线
客户端
和纱线集群,但它似乎从未在多台服务器上
运行
过。我有一个非常简单
的
<
浏览 3
提问于2015-01-30
得票数 12
回答已采纳
1
回答
如何为每个命名空间
运行
资源有限
的
kubernetes
上
的
星星之火
、
、
我目前已经
使用
helm
在
k8s中建立了
spark
独立
集群。它有固定数量
的
工人(5名工人)和一名硕士。,比如我们不能将集群
模式
用于pyspark- 集群部署
模式
目前不支持
独立
集群上
的
python
应用程序。因此,我想
使用
k8s作为集群管理器。但是我们有一个庞大
的
k8s集群,并且为每个项目分配有限
的
资源(由名称空间分配)。
使用
k8s作为集群管理器会动态
浏览 2
提问于2020-06-22
得票数 1
2
回答
不能在库伯内特斯启动火种
、
我正试图
在
Mac上建立
Kubernetes
上
的
火花。我跟踪了
的
网页,它看上去如此直截了当地让我理解。ENV PATH $PATH:/opt/
spark
/bin
在
构建了Docker
映像
之后,我
运行
了以下命令,但是吊舱没有启动。/
kubernetes
/
spark
-mast
浏览 5
提问于2020-10-20
得票数 0
8
回答
ImportError:火花工作者上没有名为numpy
的
模块
、
、
、
在
客户端
模式
下
启动火花放电。bin/pyspark --master yarn-client --num-executors 60,shell上
的
导入numpy很好,但是
在
kmeans中失败了。不知怎么
的
,执行者们没有安装过,这是我
的
感觉。我在任何地方都找不到好
的
解决办法,让工人们知道“无生气”
的
事。我试着设置PYSPARK_
PYTHON
,但这也不起作用。$$anon$1.read(Pyt
浏览 7
提问于2016-02-05
得票数 19
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
【云原生】Spark on k8s 讲解与实战操作
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
谷歌开源 Skaffold:简化 Kubernetes 开发
Docker教程:Docker Compose入门
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券