腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Apache
Spark
: MesosClusterDispatcher可以在
Docker
容器中运行执行程序吗?
、
、
、
我正在构建一个Mesos
集群
来运行Apache
Spark
。我更喜欢为我的
Spark
executors使用
Docker
容器,我可以使用
spark
-submit的客户端模式(使用--master mesos://mesosmaster:5050和--conf
spark
.mesos.executor.
docker
.image=myimage:latest)来做到这一点,但我希望能够使用
集群
模式来做同样的事情。实际上可以将
集群
浏览 7
提问于2017-08-26
得票数 1
1
回答
如何使用mesos或kubernetes创建基于容器的
Spark
或TensorFlow
集群
?
、
、
、
、
在阅读了关于和的讨论后,我仍然对如何通过一些bear metal主机和AWS (如私有云(OpenNebular) )创建带有码头容器的
Spark
和TensorFlow
集群
感到困惑。目前,我可以使用手动分发到不同主机的
docker
容器来构建静态TensorFlow
集群
。我只在熊金属主机上运行一个独立的火花。手动设置容器的mesos
集群
的方法可以在中找到。由于我的资源有限,我想找到一种方法将
docker
容器部署到当前的混合基础设施中,以构建tensorflow或
spark
浏览 2
提问于2017-06-03
得票数 0
2
回答
Docker
群尺度
、
、
、
我有一个用
docker
-swarm构建的
集群
,我们在其中运行apache
spark
应用程序。在
集群
中,我有一个管理器节点和3个worker nodes.In这个
集群
,我们有一个
spark
的主容器和许多worker容器。我可以使用以下命令扩展工作节点的数量。sudo
docker
service scale
spark
_worker=<number of workers> 当我增加worker的数量时,我希望在worker节点上创建新的容器
浏览 0
提问于2018-06-19
得票数 2
1
回答
将pyspark脚本提交到远程
Spark
服务器?
、
、
我已经编写了一个简单的pyspark ETL脚本,它读取CSV并将其写入Parquet,类似于:sqlContext= SQLContext(
spark
.sparkContext)df.write.parquet(output_path)$
docker
浏览 0
提问于2019-02-12
得票数 6
1
回答
在kubernetes
集群
中使用
spark
_sklearn
、
、
、
集群
的资源(pyspark和
spark
_sklearn库)。我设法设置了一个
spark
集群
,其中有一个master和2个worker。下面的代码运行与前面相同的任务,但是使用
spark
集群
资源。") sc_conf.set('
spark
.cores.max',
浏览 0
提问于2019-11-07
得票数 0
1
回答
从Mesos DCOS
集群
中运行的应用程序提交
Spark
、
、
、
我在AWS上运行了一个Mesos
集群
,通过dcos package install
spark
命令安装了
Spark
。我能够使用DCOS:dcos
spark
run ...成功地执行星火作业 现在,我想从运行在Mesos
集群
中的
Docker
容器中执行
spark
作业,但我不太确定如何到达
Spark
的运行实例。这样做的想法是让一个码头容器执行
spark
-submit命令,向
Spark
提交一个作业,而不是从
集群</
浏览 5
提问于2016-08-16
得票数 1
1
回答
使用码头时的EMR星火部署模式
、
、
、
、
deploy_mode} " f"--conf
spark
.executorEnv.YARN_CON
浏览 9
提问于2022-04-07
得票数 2
回答已采纳
1
回答
从
Docker
容器解决在客户端模式下运行的Apache
Spark
应用程序的问题
、
、
、
我正在尝试使用客户端模式从停靠的Apache
Spark
应用程序连接到独立的Apache
Spark
集群
。
Spark
具有
spark
.driver.host属性。我最初的直觉是在那里传递主机地址,这样
集群
就可以寻
浏览 14
提问于2016-07-22
得票数 6
回答已采纳
1
回答
运行并行作业本地动态
spark
集群
、
我是
spark
的新手,我们需要设置一个动态
spark
集群
来运行多个作业。通过参考一些文章,我们可以使用EMR (Amazon)服务来实现这一点。有没有什么方法可以在本地完成相同的设置?一旦
Spark
集群
可用于在不同服务器上的不同端口上运行的服务,如何为每个作业将迷雾指向新的
spark
集群
。提前谢谢。
浏览 9
提问于2020-03-16
得票数 0
1
回答
如何使用
Docker
创建分布式
spark
集群
、
、
我正在尝试使用这个
docker
-compose创建一个只有一个工人的分布式
spark
集群
image: gettyimages/
spark
:2.0.0-hadoop-2.7:
spark
-master
SPARK
_CONF_DIR: /conf expose:
SPARK
_WORKER_
浏览 0
提问于2018-09-19
得票数 3
1
回答
Docker
Zeppelin Image
Spark
解释器的配置
我已经使用
docker
镜像安装了Zeppelin。一切都很好。但现在我正试图在我的mesos
集群
中推出一款
spark
笔记本。我已经配置了
spark
解释器的master属性和
SPARK
_HOME变量。问题是
SPARK
_HOME的路径在
docker
容器之外,所以显然找不到路径。如何正确设置指向主机路径的路径? 谢谢。
浏览 0
提问于2017-02-08
得票数 3
1
回答
Pyspark尝试连接到
spark
master,但连接被拒绝
、
、
、
、
我在云中有一个3节点的
docker
swarm
集群
,有
spark
master和
spark
worker服务,
spark
worker成功连接到master,在
spark
master UI中,显示了
spark
worker连接:: 我使用nestat显示
集群
中的监听端口,连接到<em
浏览 0
提问于2020-06-06
得票数 0
2
回答
如何使用星火提交和python脚本到达
Docker
容器中的星火
集群
?
、
、
、
、
我已经创建了一个星火
集群
,其中有一个主人和两个奴隶,每个都在一个码头容器上。我使用命令start-all.sh启动它。我可以从localhost:8080的本地机器访问UI,它向我展示了
集群
的良好启动: ...
浏览 44
提问于2022-01-26
得票数 2
回答已采纳
1
回答
org.apache.
spark
.deploy.kubernetes.submit.Client :java.lang.ClassNotFoundException
、
我使用以下命令在kubernetes
集群
中运行示例
spark
作业: --deploy-mode cluster \ --master k8s://https://XXXXX \ --conf
spark
浏览 4
提问于2017-08-22
得票数 1
回答已采纳
1
回答
k8s上的JupyterHub笔记本上的Apache
Spark
远程
集群
、
、
、
我有: Apache
Spark
: 2.4.4 JupyterHub : 1.1.0 舵图版本: 0.9.0 K8S : 1.15 我用官方文档https://zero-to-jupyterhub.readthedocs.io/在k8s上构建了Jupyterhub 我使用官方的
Spark
镜像来做一些本地工作:jupyter/all-
spark
-notebook:最新
Spark
在本地模式下工作得很好。但是我想使用Apache在远程(自制)Apache
Spark
<
浏览 44
提问于2020-12-01
得票数 1
1
回答
从ECS码头集装箱运行EMR作业
、
我已经将用python编写的ML作业代码包含到一个码头容器中,并能够使用Amazon作为码头服务运行。我想使用星星之火以分布式方式运行,并在亚马逊EMR.Can上部署,建立ECS和EMR之间的连接?
浏览 3
提问于2017-05-25
得票数 9
回答已采纳
2
回答
如何使用
spark
-submit在Kubernetes (minikube)上提交PySpark作业
、
、
、
如果我想使用
spark
-submit在minikube
集群
上提交它,你知道如何传递python文件吗?.--conf
spark
.executor.memory=500m \ --conf
spark
.kubernetes.authenticate.driver.servi
浏览 1
提问于2020-05-10
得票数 1
1
回答
Apache Zeppelin +
Spark
的按需用户
集群
?
、
、
、
、
我们使用cloudera部署zeppelin-
spark
-yarn-hdfs
集群
。现在,zeppelin和
spark
只有一个实例,所有
spark
notebooks的执行都会影响到每个用户。例如,如果我们停止用户笔记本中的
spark
上下文,它将影响所有其他用户的笔记本。我已经看到在zeppelin中有一个隔离解释器的选项,但是有没有一种方法可以按需为每个用户提供自己的“
集群
”?也许使用
Docker
并使用zeppelin和
spark
为每个用户构建一个映像
浏览 2
提问于2017-08-09
得票数 2
1
回答
如何使用虚拟环境(包括python3解释器)来打包吡火花代码?
、
、
、
、
我正试图让我的火花放电应用程序在纱线
集群
上运行。应用程序使用某些需要python3的库。然而,纱线
集群
使用python2,没有安装python3。因为
集群
不会在/usr/bin/python.libpython3.6m.so.1.0上有python3,所以丢失了。Pyspark应用程序最初是因为这个原因而失败的。我手动地将其复制到venv/lib/,并在
spark
-submitNow中的
spark
.executorEnv.LD_LIBRARY_PATH=.
浏览 3
提问于2020-02-12
得票数 5
2
回答
星星之火-提交kubernetes
集群
、
、
、
但是,当我试图在我的Kubernetes
集群
上运行同一个jar文件时,它会抛出一个错误。下面是我的
spark
-submit代码以及抛出的错误。status: [ContainerStatus(containerID=
docker
://7b46d9483cf22d94c7553455dd06a6a9530b2947a6db71d089cfe9dcce656c26, image=gcr.io/
spark
-operator/
spark
:v2.4.5, imageID=<e
浏览 6
提问于2020-02-11
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Docker:Spark on Yarn
docker搭建redis集群
docker搭建redis集群,详解!
Docker 搭建 Redis Cluster 集群环境
基于 Docker的MongoDB 主从集群
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券