腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
应用程序母版或群集
管理
器是否启动容器/执行者-火花?
apache-spark
让我们说,我们有一个火花作业运行在
集群
模式,其中
集群
管理
器是纱线。用户向
集群
管理
器提交一个预编译的JAR、
Python
.
集群
管理
器告诉特定的节点
管理
器启动应用程序母版。然后将DAG转换为物理执行计划应用程序主程序,然后与
集群
管理
器通信并协商资源。请求资源(如首选执行器位置和容器数量)。 此时,
集群
管理
器是分配纱线容器还是应用程序主服
浏览 0
提问于2020-05-31
得票数 0
回答已采纳
2
回答
Python
:
集群
作业
管理
python
、
cluster-computing
、
slurm
我使用两个阶段在计算
集群
(slurm)上运行
python
脚本,它们是连续的。我编写了两个
python
脚本,一个用于第一阶段,另一个用于第二阶段。是否有一种更优雅/自动化的方法,将所有阶段和作业
管理
结合在一个
python
脚本中?我怎样才能知道这项工作是否已经完成?
浏览 0
提问于2019-03-28
得票数 2
回答已采纳
1
回答
黑泽尔广播
管理
中心脚本特性
hazelcast
我正在一个虚拟实验室中部署Hazelcast
管理
中心来
管理
同一个网络中的
集群
。在文档中,我注意到了“脚本”特性,允许
管理
员在
集群
上执行Javascript、Ruby、Groovy或
Python
代码。 但是,我找不到多少关于可以执行哪些Javascript代码的参考?可以在
集群
上执行os命令吗?
浏览 0
提问于2018-03-02
得票数 0
回答已采纳
1
回答
在VS代码中设置的GCP编写器
google-cloud-platform
、
airflow
、
google-cloud-composer
我是GCP的新手,我必须通过VS代码来设置GCP作曲家。有没有办法做同样的事。我在谷歌上找不到很多相同的信息。
浏览 11
提问于2022-10-14
得票数 1
1
回答
禁用Azure数据库群集火花配置
apache-spark
、
databricks
、
azure-databricks
在创建Azure Databricks并配置其cluster时,我选择了Spark的默认语言为
python
,sql。但是现在我也想添加Scala。在运行Scala脚本时,我得到了以下错误。因此,我的在线搜索带我看了一篇文章,文章描述了您可以通过转到
集群
设置页面的Advanced options部分并单击那里的Spark选项卡来更改
集群
配置(如下图所示)。但我发现那里的星火区已经灰暗(残废): 问题:如何启用
集群
设置页面高级部分的Spark部分(如下图所示),以便编辑该部分的最后一行?注意:我创建了Databricks及其<
浏览 8
提问于2022-04-30
得票数 2
回答已采纳
1
回答
如何使用Boto3在弹奏缓存中读/写键值对?
amazon-web-services
、
boto3
、
amazon-elasticache
我需要我的
python
代码来读/写键值对到,为此我计划使用Boto3 SDK。但是,在docs中,我没有看到elasticache客户端的put/get API。
浏览 2
提问于2020-04-29
得票数 2
回答已采纳
2
回答
如何将火花作业从Jenkins部署到EMR纱线
集群
?
apache-spark
、
pyspark
、
emr
我有几个火花作业在一个电子EMR
集群
使用纱线,必须运行在一个定期的基础上,并提交从詹金斯。目前,Jenkins机器将ssh进入EMR上的主节点,在该节点上,代码的副本可以在要执行的文件夹中准备好。我希望能够将repo克隆到jenkins工作区中,并将Jenkins的代码提交到
集群
上执行。有什么简单的方法吗?从詹金斯那里部署火花的最好方法是什么?
浏览 7
提问于2016-10-05
得票数 2
回答已采纳
1
回答
如何使用并行化
Python
代码在
集群
上使用多个节点/核心
python
、
python-2.7
、
hpc
、
slurm
我有一段
Python
代码,其中我使用和使部分代码并行运行。在我的桌面上运行这个程序没有什么问题,我可以使用任务
管理
器( Task )查看它是否使用了所有四个核心,并并行运行代码。最近我了解到,我可以访问一个具有100+ 20核心节点的HPC
集群
。
集群
使用作为工作负载
管理
器。 在作业提交文件中需要放入什么#SB
浏览 3
提问于2015-01-21
得票数 5
回答已采纳
1
回答
如何在群上下文中使用?
python
、
docker
、
sdk
、
swarm
为了使用命令,如:我们需要在一台机器上运行
python
代码,它是一个群中的
管理
器。但是我应该如何启动
python
程序呢?在码头机器上没有什么可安装
python
的,我不认为这样做是个好主意。但是现在我需要在Ubuntu上做,所以我不能使用这个解决方案
浏览 5
提问于2017-05-22
得票数 1
回答已采纳
1
回答
Python
包安装:PIPvs.yum,还是两者结合在一起?
python
、
hadoop
、
pip
、
yum
我刚刚开始
管理
Hadoop
集群
。我们使用光明
集群
管理
器达到O/S级别(CentOS 7.1),然后将Ambari与Hortonworks 2.3一起用于Hadoop。我经常收到安装新
python
模块的请求。我们在安装时使用yum安装了一些模块,并且随着
集群
的发展,一些模块已经使用pip安装了。 做这件事的“正确”方法是什么?我只是担心我的系统中充斥着垃圾和太多版本的
python
模块。有什么建议吗?
浏览 2
提问于2016-01-19
得票数 8
1
回答
AWS和GCP集中
管理
的气流和AWS的数据流等效
amazon-web-services
、
google-cloud-platform
、
airflow
我有两个问题要问: 谢谢!
浏览 0
提问于2019-08-24
得票数 0
1
回答
如何通过脚本/REST API授予其他用户在Databricks
集群
上“可以
管理
”的权限?
databricks
、
azure-databricks
、
azure-rest-api
我想在databricks工作区中创建
集群
,并为某些用户提供“可以
管理
”权限。我如何使用REST API或其他脚本来做到这一点?这就是我在
python
中创建
集群
的方法(可以用cURL做同样的事情): 'https://%s/api/2.0/clusters/createx-scala2.11", "node_type_id": "Stand
浏览 0
提问于2019-07-23
得票数 0
1
回答
无法从
集群
中的mpi4py导入MPI
cluster-computing
、
mpi4py
我想在
集群
中运行我的
python
代码,包括mpi4py。 我的工作发生了什么?
集群
找到了mpi4py,但没有找到MPI!我无法理解这种情况。请给我一个指南,使
集群
识别MPI设置?
集群
有slurm工作负载
管理
器。
浏览 9
提问于2022-04-06
得票数 0
2
回答
Python
或Node访问GKE kubectl
python
、
node.js
、
kubernetes
我在GKE
管理
了几个
集群
(目前,但会增加),到目前为止,根据需要手动启动是可以的。我已经开始使用我自己的API,它可以接收请求,为特定
集群
按需启动新资源,但为了使其可伸缩,我需要做一些更动态的事情,而不是在每次请求时在
集群
之间切换。我找到了一个Google API
python
客户端的链接,该客户端应该可以访问GKE: Google API客户端似乎没有用于GKE/ku
浏览 19
提问于2017-01-20
得票数 1
1
回答
运行PySpark时AWS EMR的代码失败
amazon-web-services
、
pyspark
、
amazon-emr
我对notebook@ip-x-x-x-x$ more .sparkmagic/config做了如下更改 "kernel_
python
_credentials" : {aws emr create-cluster \ --release-label emr/emr-configuration.json 这告诉我,下面的
集群</em
浏览 8
提问于2020-06-06
得票数 1
1
回答
Pip使用本地安装的依赖项安装scikit-image
python
、
dependencies
、
cython
、
scikit-image
我正在尝试在没有
管理
员权限的服务器上安装scikit-image。Scikit-image需要CythonCython0.23作为依赖项,但服务器全局安装了>= 0.21。$ which Cython我可以在本地
浏览 51
提问于2017-02-18
得票数 2
2
回答
在排队
集群
上使用
Python
的并行计算
python
、
performance
、
parallel-processing
、
cluster-computing
有不同模块的用于线程/并行化
python
。和似乎特别受欢迎。看起来这些都是为具有多个核心/处理器的单一接口(例如桌面)而设计的。
浏览 2
提问于2014-11-28
得票数 2
回答已采纳
1
回答
hbase动物园
管理
员:在AWS环境中哪一个是第一位的?
python
、
hadoop
、
amazon-web-services
、
hbase
、
apache-zookeeper
看了更多之后,我注意到动物园
管理
员来了. 问题:在建立hadoop之后,我应该安装和配置HBase多节点或动物园
管理
员,然后是HBase (sqoop、flume、HBase.这一步是否应该完成)?奖励:我的目的是连接R,Tableau之类的可视化软件,并运行少量
python
程序来玩AWS,所以推荐-建议是欢迎的
浏览 1
提问于2016-01-02
得票数 1
1
回答
创建一个完全隔离的
python
venv
python
、
apache-spark
、
pyspark
、
hadoop-yarn
、
python-venv
我在yarn
集群
上部署了pyspark应用程序,在所有节点都可以访问的挂载上部署了
python
venv。我遇到的问题是,节点上的
python
安装是不一致的,有些节点安装了必需的模块(这是
python
构建的一部分),而其他节点则不安装,这会导致频繁的崩溃。我注意到,在使用
python
-m venv创建一个venv时,它并不复制
python
安装,而是向它创建一个symlink。事实证明,与负责
集群
的团队就这一问题进行沟通非常繁琐,因此我想在挂载上创建一个完全隔离的<em
浏览 23
提问于2022-10-10
得票数 0
2
回答
如何使用PySpark升级Qubole's Jupyter Notebook中的库?
qubole
--upgrade类似,我不知道如何执行https://docs.qubole.com/en/latest/faqs/general-questions/install-custom-
python
-libraries.html#pre-installed-
python
-libraries上的指令。当前的
Python
3.5.3版本,Panda0.20.1。我需要升级Pandas和Matplotlib
浏览 33
提问于2019-12-07
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
KubeSphere 多集群管理大招:使用 QKE 管理多个 ACK 集群
集群管理笔记(二)
HBase之集群管理
集群及Session管理
Python操作redis集群
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券