腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kubernetes
容器
中
的
Spark
看不到
本地
文件
java
、
apache-spark
、
kubernetes
、
spark-submit
、
nosuchfileexception
我有一个用Java语言编写
的
很小
的
Spark
应用程序,我正尝试使用
spark
-submit在K8s集群
中
运行它。我用
Spark
二进制
文件
构建了一个映像,我
的
uber-JAR
文件
包含所有必要
的
依赖项(在/opt/
spark
/jars/my.jar
中
),还有一个配置
文件
(在/opt/
spark</em
浏览 20
提问于2020-07-13
得票数 0
1
回答
当
Spark
提交给
Kubernetes
时,
spark
应用程序放在哪里?
scala
、
apache-spark
、
kubernetes
、
spark-submit
我
的
案例与本主题中
的
案例相同。那里可能
的
解决方案并没有得到充分
的
证明。
Spark
版本2.3.0。 我尝试在
spark
/jars中下载新版本
的
spark
-
kubernetes
jar。复制并重命名为
spark
-
kubernetes
_
浏览 1
提问于2018-07-07
得票数 0
2
回答
Airflow +
Kubernetes
VS Airflow +
Spark
apache-spark
、
kubernetes
、
airflow
就像我之前读过
的
一篇文章。它说,在新
的
Kubernetes
版本
中
,已经包含了
Spark
功能。但是有一些不同
的
方式,比如用KubernetesPodOperator代替BashOperator / PythonOperator来做SparkSubmit。合并Airflow +
Kubernetes
的
最佳实践是移除
Spark
并使用KubernetesPodOperator执行任务吗?它有更好
的
性能,因为
浏览 1
提问于2018-10-11
得票数 1
1
回答
在k8
的
问题上点燃装罐
apache-spark
、
kubernetes
在这个过程
中
,我做了以下工作, --conf
spark
.
kubernetes
浏览 2
提问于2019-03-29
得票数 1
回答已采纳
4
回答
Spark
Kubernetes
是否支持--py-files参数?
apache-spark
、
kubernetes
、
pyspark
我正在尝试使用
Kubernetes
运行PySpark作业。主脚本和py
文件
都托管在Google Cloud存储上。但如果我使用
Kubernetes
进行同样
的
尝试:--master k8s://https://xx.xx.xx.xx \ --deploy-mode cluster \--conf
spark
.
kubernetes
.container.image=gcr.io/my-
浏览 0
提问于2019-04-12
得票数 1
1
回答
使用
Kubernetes
在客户端模式下运行
spark
的
两个独立映像,使用Apache-
Spark
3.2.0
的
Python?
python
、
docker
、
apache-spark
、
kubernetes
我使用以下脚本部署了Apache
Spark
3.2.0,该脚本从Python
的
分发
文件
夹
中
运行: ./
kubernetes
/dockerfiles/
spark
/bindings/python/Dockerfile build 我可以使用
Spark
-Submit在K8s下创建一个
容器
。我
的
目标是运行为客户端模式与
本地
模式配置
的
spa
浏览 37
提问于2021-11-15
得票数 1
1
回答
在
kubernetes
集群中使用
spark
_sklearn
apache-spark
、
kubernetes
、
scikit-learn
、
pyspark
我最初使用
的
是scikit-learn (sklearn)库。在模型优化
的
过程
中
,我使用了sklearn
中
的
经典GridSearchCV类。它当前使用来自运行api
的
主机(joblib库)
的
所有资源进行并行。集群
的
资源(pyspark和
spark
_sklearn库)。我设法设置了一个
spark
集群,其中有一个master和2个worker。下面的代码运行与前面相同
的
任务,但是使用
spark<
浏览 0
提问于2019-11-07
得票数 0
1
回答
Kerberos认证与运行在
Kubernetes
集群上
的
星火独立集群Hadoop集群
apache-spark
、
hadoop
、
kubernetes
、
kerberos
、
apache-spark-standalone
我已经在
Kubernetes
上建立了
Spark
独立集群,并且我正在尝试连接一个Kerberized集群,它不是在
Kubernetes
上。我已经将core-site.xml和hdfs-site.xml放在了我
的
Spark
集群
的
容器
中
,并相应地设置了HADOOP_CONF_DIR。我能够在
Spark
容器
中
成功地为访问Hadoop集群
的
主体生成kerberos凭据缓存。但是,当我运行火花
浏览 3
提问于2020-05-11
得票数 1
4
回答
启动
容器
进程导致\"exec:\“driver\”:在$PATH\
中
找不到可执行
文件
“\n”
apache-spark
、
docker
、
spring-boot
、
dockerfile
、
minikube
我有基于spring
的
spark
2.3.0应用程序。我正在尝试在
kubernetes
(minikube)上做
spark
submit。 我有一个带有docker和minikube
的
虚拟盒子在运行。--class com.yyy.Application --conf
spark
.executor.instances=1 --conf
spark
.
kubernetes
.container.imagelastState=ContainerState(run
浏览 0
提问于2018-04-11
得票数 2
1
回答
Kubernetes
服务网络
networking
、
kubernetes
我一直在努力让火花在我
的
本地
机器上进行库伯内特斯
的
工作。然而,我有一个问题,试图了解如何建立网络
的
服务。kubectl创建
kubernetes
/examples/
spark
/
spark
-master-controller.yaml kubectl创建-f
kubernetes
/examples/
spark
/
spark
-master-service.yaml
浏览 2
提问于2015-12-12
得票数 1
回答已采纳
3
回答
从
kubernetes
pod提交pyspark应用程序
docker
、
kubernetes
、
pyspark
、
apache-kafka
使用案例:使用
spark
从Kafka store
中
的
parquet
文件
中
获取流。打开这些拼图
文件
并使用图形框架生成图形。我在
kubernetes
上有一个与Kafka连接
的
bitnami
spark
infra。 目标是将
spark
-submit调用到
kubernetes
pod
中
。这样,所有的代码都运行到
kubernetes
中
,并且我没有在<em
浏览 5
提问于2021-06-16
得票数 1
2
回答
星星之火-提交
kubernetes
集群
apache-spark
、
kubernetes
、
pyspark
、
minikube
我已经创建了简单
的
word计数程序jar
文件
,这是测试和工作良好。但是,当我试图在我
的
Kubernetes
集群上运行同一个jar
文件
时,它会抛出一个错误。下面是我
的
spark
-submit代码以及抛出
的
错误。com.sample.WordCount --conf
spark
.executor.instances=5 --conf
spark
.
kubernetes
.container.image=de
浏览 6
提问于2020-02-11
得票数 0
1
回答
无法将卷装载到
spark
.
kubernetes
.executor
scala
、
apache-spark
、
kubernetes
、
server
、
data-science
我尝试使用
kubernetes
以
spark
集群模式从服务器读取
文件
,因此我将我
的
文件
放在所有worker上,并使用以下命令挂载驱动程序卷这里一切正常,但当我执行它时,它显示在
浏览 1
提问于2019-11-27
得票数 3
2
回答
线程"main“org.apache.
spark
.SparkException中出现异常:必须指定驱动程序
容器
映像
apache-spark
、
docker
、
kubernetes
、
kubectl
、
minikube
我正在尝试从
本地
机器CLI使用命令在minikube(
Kubernetes
)上执行
spark
-submit--deploy-mode cluster --class com.yyy.Test --conf
spark
.executor.instances=2 --conf
spark
.
kubernetes
浏览 11
提问于2018-04-06
得票数 4
1
回答
无法读取星火
kubernetes
群集模式下
的
本地
文件
scala
、
file
、
apache-spark
、
kubernetes
、
server
我在读取存储在系统
中
的
一个存储在星火集群模式
中
的
文件
时遇到了一个问题,program.It给了我一个“
文件
未找到”
的
错误,但是
文件
存在于定义
的
location.Please
中
,这给了我一些想法,这样我就可以使用
kubernetes
读取星火集群
中
的
本地
文件
了。
浏览 2
提问于2019-11-26
得票数 1
1
回答
部署
本地
Docker镜像(DockerFIle)作为
本地
Kubernetes
pod
docker
、
kubernetes
我使用Vagrant在
本地
机器上启动了
Kubernetes
master和minion。我可以为
Kubernetes
pod创建一个json
文件
,在这个
文件
中
我可以启动几个公共
容器
。但是,有一个Docker
容器
是
本地
容器
,在java:8-jdk上,配置了DockerFile。如何在
kubernetes
json pod
中
引用这个
本地
Docker
容器</em
浏览 1
提问于2015-05-22
得票数 6
1
回答
当
Spark
和Cassandra位于不同
的
Docker
容器
上时,
Spark
报告
的
性能较低
apache-spark
、
kubernetes
、
cassandra
、
spark-cassandra-connector
我在
Kubernetes
上使用
Spark
3.0.1,
spark
cassandra连接器和cassandra。我使用
spark
cassandra Cassandra API来获取
Spark
Partition
的
数据局部性特性,首先是Cassandra,然后是joinWithCassandraTable。但是这个重新分区失败了,因为cassandra数据对于
Spark
容器
来说不是
本地
的
。正因为如此,joinWith
浏览 2
提问于2021-06-14
得票数 1
1
回答
为什么齐柏林飞艇-火花解说员没有安装
Kubernetes
服务帐户
apache-spark
、
kubernetes
、
apache-zeppelin
我在
Kubernetes
集群上部署了Zeppelin (0.8.2),并在
容器
中
打包了
Spark
(2.4.0)二进制
文件
。然后我将$
SPARK
_HOME设置为
Spark
目录。下面是我尝试过
的
基于
的
配置
spark
.<e
浏览 4
提问于2020-06-24
得票数 1
回答已采纳
2
回答
如何使用
spark
-submit在
Kubernetes
(minikube)上提交PySpark作业
apache-spark
、
amazon-s3
、
kubernetes
、
pyspark
我
的
笔记本电脑上有一个
本地
的
PySpark作业。如果我想使用
spark
-submit在minikube集群上提交它,你知道如何传递python
文件
吗?.--conf
spark
.executor.memory=500m \ --conf
spark
.
kubernetes
.container.image=prateek/
spark
-ubuntu
spark
.
浏览 1
提问于2020-05-10
得票数 1
2
回答
特定ImagePullPolicy
的
PodSecurityPolicy故障
kubernetes
、
google-kubernetes-engine
、
kubernetes-pod
我正在尝试在我
的
v1.13.6-gke.6 k8s集群中部署Pod。我使用
的
图像非常简单: FROM scratch USER 1001我要在其中部署Pod
的
集群有一个PSP设置。这意味着每次我拿起一个缓存
的
图像时,它都会给出container has runAsNonRoot错误。我
的
意思是,仅仅因为ImagePullPolic
浏览 71
提问于2019-06-18
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
GCP发布Kaniko:在非特权容器和Kubernetes中构建容器镜像的工具
使用Spark将本地文件读取并封装为DataFrame的完整指南
Docker和Kubernetes 中的容器网络图书资料分享
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
Excel如何将多个文件中的图片批量保存到本地?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券