腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
kubernetes
上
检查
spark
中
的
错误
原因
?
apache-spark
、
kubernetes
我运行以下命令在
kubernetes
上
运行
spark
作业。 .
spark
.executor.instances=2 \ --conf
spark
.
kubernetes
.authenticate.driver.serviceAccountName
spark
/examples/jars&
浏览 42
提问于2020-10-22
得票数 0
回答已采纳
1
回答
将在k8s
中
运行
的
spark
驱动程序日志发送到Splunk
apache-spark
、
logging
、
kubernetes
、
splunk
、
spark-submit
我正在尝试按照这里提到
的
步骤在
kubernetes
中
运行一个示例
spark
作业:。 我正在尝试将
spark
驱动程序和执行器日志发送到Splunk。
spark
是否提供了任何配置来执行相同
的
操作?如
何在
spark
-submit命令中发送Splunk配置,
如
HEC端点、端口、令牌等?--conf
spark
.
kubernetes
.container.image=gcr.io/<
浏览 0
提问于2020-01-24
得票数 0
1
回答
如何把一份工作送到库伯奈特斯
的
斯派克。不能实例化外部调度程序
apache-spark
、
kubernetes
--class org.apache.
spark
.examples.SparkPi --conf
spark
.executor.instances=5 --conf
spark
.
kubernetes
.container.image=
spark
local:///opt/
spark
/examples/jars/
spark
-examples_2.11-2.4.0.jar 我得到了以下
错误
浏览 0
提问于2019-03-13
得票数 1
2
回答
在
Kubernetes
上
运行星火示例失败
apache-spark
、
kubernetes
、
minikube
我
的
Mac /X版本: 10.15.3 然后,我在本地机器中使用follwing命令运行
Spark
,其中存储了
Spark
2.4.5。\--conf
spark
.
kubernetes
浏览 2
提问于2020-05-01
得票数 1
回答已采纳
2
回答
火花执行器无法在
kubernetes
集群
上
运行。
apache-spark
、
kubernetes
、
pyspark
我试图在
kubernetes
集群
上
运行一个简单
的
星火作业。,它显示了以下
错误
: serviceAccount
浏览 5
提问于2021-01-31
得票数 3
回答已采纳
1
回答
从windows与linux
的
Spark
提交
apache-spark
、
kubernetes
在过去
的
几天里,我在
Kubernetes
上体验了
Spark
(2.3.0)。我已经在linux和windows机器
上
测试了示例SparkPi,发现linux
spark
-submit运行正常,并且给出了正确
的
结果(剧透: Pi大约是3.1402157010785055)在windows
上
,日志显示<em
浏览 0
提问于2018-04-09
得票数 0
1
回答
处于运行状态
的
Kubernetes
中
的
火花作业
apache-spark
、
kubernetes
我正在提交在本地运行
的
Kubernetes
中
的
Spark
作业(Docker桌面)。我能够提交作业,并在屏幕
上
看到它们
的
最终输出。~
浏览 3
提问于2019-09-16
得票数 4
回答已采纳
2
回答
星星之火-提交
kubernetes
集群
apache-spark
、
kubernetes
、
pyspark
、
minikube
我已经创建了简单
的
word计数程序jar文件,这是测试和工作良好。但是,当我试图在我
的
Kubernetes
集群
上
运行同一个jar文件时,它会抛出一个
错误
。下面是我
的
spark
-submit代码以及抛出
的
错误
。0.0.1-SNAPSHOT.jar local:///C:/Users/siddh/OneDrive/Desktop/initialData.txt
浏览 6
提问于2020-02-11
得票数 0
1
回答
来自私人艺术家
的
K8s图像
apache-spark
、
kubernetes
、
containers
、
artifactory
、
kubernetes-secrets
=repo:buildversion \ --conf
spark
.
kubernetes
.authenticate.driver.serviceAccountName--conf
spark
.
kubernetes
.authenticate.executor.serviceAccountName=
spark
-sa \
浏览 14
提问于2021-02-01
得票数 0
2
回答
在
Kubernetes
上
运行
Spark
时指定公差
的
Pod模板
apache-spark
、
kubernetes
、
pyspark
、
kubernetes-pod
我在尝试通过
Kubernetes
调度程序启动
Spark
作业时遇到了一些问题。根据和,用户应该能够指定pod模板,该模板可以使用以下参数设置:
spark
.
kubernetes
.driver.podTemplateF
浏览 0
提问于2019-09-30
得票数 1
1
回答
EMR EKS无法发射驱动吊舱
amazon-web-services
、
apache-spark
、
kubernetes
、
amazon-emr
、
amazon-eks
如
何在
EKS
上
设置EMR
的
资源限制?我
的
驱动程序未能启动,因为它请求
的
CPU比允许
的
要多。这对我来说毫无意义。我正在从下面的文档运行入门代码。我添加了--conf
spark
.driver.limit.cores=2,以尝试使限制高于下面的
错误
消息
中
列出
的
限制。我从这里得到了这个想法, 这个集群
中
确实有istio在运行。=2 --conf
spark
.executor.memory
浏览 10
提问于2021-12-20
得票数 2
回答已采纳
2
回答
spark
over
kubernetes
vs yarn/hadoop生态系统
apache-spark
、
hadoop
、
kubernetes
我看到
spark
对
kubernetes
有很大
的
吸引力。它比在Hadoop
上
运行
spark
更好吗?这两种方法都运行在分布式方法
中
。有人能帮我理解一下在
kubernetes
上
运行
spark
和在Hadoop生态系统
上
运行
spark
之间
的
区别/比较吗? 谢谢
浏览 0
提问于2018-06-26
得票数 13
4
回答
Spark
Kubernetes
是否支持--py-files参数?
apache-spark
、
kubernetes
、
pyspark
我正在尝试使用
Kubernetes
运行PySpark作业。主脚本和py文件都托管在Google Cloud存储
上
。但如果我使用
Kubernetes
进行同样
的
尝试:--master k8s://https://xx.xx.xx.xx \ --deploy-mode cluster \--conf
spark
.
kubernetes
.container.image=gcr.io/my-
浏览 0
提问于2019-04-12
得票数 1
1
回答
kubernetes
删除pod故障排除
apache-spark
、
kubernetes
我对
spark
在kuberenetes
上
的
应用有点问题。
Spark
driver尝试创建executor pod,executor pod启动失败。问题是,一旦pod出现故障,
spark
driver就会将其移除并创建一个新
的
。新
的
失败是由于同样
的
原因
。那么,我如何从已经删除
的
pod
中
恢复日志,因为这似乎是
kubernetes
上
的
默认
sp
浏览 2
提问于2018-12-26
得票数 0
1
回答
使用Python
的
星星之火K8s资源暂存服务器
python
、
apache-spark
、
pyspark
、
kubernetes
我一直在跟踪
上
的
火花K8s ,
Kubernetes
v1.9.0和Minikubev0.25.0。=
spark
-pi \ --conf
spark
.
kubernetes
.driver.docker.image=kubespark/
spark
-driver-py:v2.2.0-
kubernetes
///opt/
spark
/examples/src/mai
浏览 0
提问于2018-02-10
得票数 2
回答已采纳
4
回答
如何使用
Kubernetes
在
Spark
中
设置临时存储
apache-spark
、
kubernetes
在
Kubernetes
集群
中
运行
spark
作业时,我们得到以下
错误
:如何配置作业,以便我们可以增加每个容器
的
临时存储大小?\--conf
spark
.
kubernete
浏览 343
提问于2018-11-30
得票数 6
1
回答
在
Kubernetes
上
使用Minio - Postgres -> Minio -unable创建执行器
apache-spark
、
kubernetes
、
pyspark
、
minio
嗨,我正面临一个
错误
,提供依赖罐
的
火花-提交在库伯内特斯。:
spark
3.1.2 file:///AirflowData/
kubernetes
/python/postgresminioKube.py 下面是要执行
的
代码。S3 minio和配置所需
的
jars被放置在
spark
_home/conf和
spark
_home/jars
中
,并创建了码头映像。
浏览 0
提问于2021-11-09
得票数 0
回答已采纳
1
回答
Airflow -无法导入
Spark
provider - package:未定义名称'client‘
python
、
apache-spark
、
pip
、
airflow
我已经在现有的Airflow 2.0.0安装
的
基础
上
安装了Apache
Spark
provider,安装方法如下: pip install apache-airflow-providers-apache-
spark
:49:46,871] {providers_manager.py:279} WARNING - Exception when importing 'airflow.providers.apache.
spark
.hooks.
spark
_jdbc.SparkJDBCH
浏览 16
提问于2021-01-20
得票数 3
1
回答
在k8
的
问题上点燃装罐
apache-spark
、
kubernetes
我正试图在
kubernetes
上
运行一个示例星星之火应用程序(在星火示例jar中提供),并试图理解其行为。在这个过程
中
,我做了以下工作, 构建了一个运行
中
的
kubernetes
集群,具有3个节点(1个主节点和2个子节点),具有足够
的
资源(10核,64 64Gigs mem,500 10磁盘)。请注意,我
的
节点
上
没有互联网访问权限。-gcs)到运行
kubernetes
主服务器
的
节点
上</e
浏览 2
提问于2019-03-29
得票数 1
回答已采纳
1
回答
为什么火花执行者还没死
apache-spark
、
amazon-s3
、
kubernetes
、
airflow
这是我
的
设置: 运行airflow
的
Kubernetes
集群将
spark
作业提交给
Kubernetes
集群,作业运行良好,但是容器应该在完成任务后死亡,但它们仍然挂在那里。cluster.Dag
上
出现
的
气流设置是在气流对接器图像
中
烘焙
的
,因为不知何故,我无法将达格与s3同步。由于某些
原因
,cron无法运行。将
spark
作业提交给K8S集群,作业运行良好。这是我
的
SparkSubmi
浏览 1
提问于2019-09-17
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
云原生架构下复杂工作负载混合调度的思考与实践
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
Spark 2.3重磅发布:欲与Flink争高下,引入持续流处理
【云原生】Spark on k8s 讲解与实战操作
Kubernetes 就绪探针在微服务中的应用
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券