腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Dask
-
Kubernetes
-
教程
示例
dataframe
、
kubernetes
、
google-cloud-platform
、
dask
、
dask-distributed
我刚刚使用Helm在
Kubernetes
集群上完成了
Dask
的设置,现在我想在jupyter笔记本上做一些基本的
教程
,我遇到了以下错误: ? 此外,我还尝试在另一个笔记本中分析40 GB的数据集,但运行以下命令非常慢(我只是从GCS导入40 GB,然后在二进制列上创建一个value_counts ): import
dask
.dataframe
浏览 30
提问于2019-02-13
得票数 2
回答已采纳
1
回答
Hadoop
Kubernetes
上的
Dask
hadoop
、
kubernetes
、
cluster-computing
、
dask
、
kubernetes-helm
我已经通过helm chart在我的microk8s
kubernetes
集群上安装了Hadoop。我想知道如何在这个hadoop集群上的不同机器上创建一个
dask
集群。我尝试遵循
Dask
网站上的
教程
,但一直收到错误,因为它正在寻找本地的yarn/hadoop。如何指向
kubernetes
上的hadoop才能创建集群?
浏览 0
提问于2020-06-16
得票数 2
1
回答
dask
-
kubernetes
KubeCluster卡住
kubernetes
、
dask
、
dask-kubernetes
我正在尝试在
kubernetes
上运行
dask
。下面是
dask
-
kubernetes
的hello world,但我被下面的错误卡住了。main.py: import osfrom
dask
.distributed import Client
浏览 38
提问于2021-08-17
得票数 0
回答已采纳
1
回答
如何在aws
kubernetes
实例上部署
dask
-
kubernetes
自适应集群
amazon-web-services
、
kubernetes
、
kubernetes-helm
、
dask-kubernetes
我正在尝试将一个自适应的
dask
kubernetes
集群部署到我的aws K8s实例(我想使用中的kubeControl接口)。我不清楚我在哪里以及如何执行这段代码,以便它在我现有的集群上是活动的。话虽如此,我可以使用公开的AWS dns服务器从我的另一个ec2实例连接到这个集群,并执行自定义代码,但这不是
kubernetes
原生
dask
集群。我已经为
kubernetes
修改了部署yaml,但我不清楚我需要做什么修改才能让它使用正确的
kubernetes
集群/调度器。我知道我
浏览 1
提问于2019-09-20
得票数 1
1
回答
在运行TPOT时,
Dask
在被杀的工人异常中一直失败。
kubernetes
、
dask
、
dask-distributed
、
tpot
我在gcp上运行,
dask
在
kubernetes
集群上运行,该集群是24核120 gb内存,4节点的
kubernetes
,我的
kubernetes
yaml是kind:# CHANGE THIS TO BE YOUR DOCKER HUB IMAGE command: ["/opt/conda/bin/
dask
-schedulerimagePullPolicy:
浏览 0
提问于2019-01-29
得票数 1
1
回答
在
Dask
工人中设置`n螺纹‘的最佳选项
python
、
kubernetes
、
dask
我将使用在
Kubernetes
上执行多个算法。我希望一个工作人员运行一个并且只有一个算法,所以我混淆了在初始化时传递给
dask
的nthreads参数。restartPolicy: Never - image: MyFunnyDockerImage args: [
dask
-worker
浏览 4
提问于2022-02-02
得票数 0
1
回答
配置
dask
-jupyter头盔图部署的入口
jupyter-notebook
、
kubernetes-helm
、
dask
我在k8s集群()上部署了一个单用户
dask
舵机图表。APP VERSION$ kubectl获得svc pangeo-
dask
-jupyter pangeo-
dask
-调度程序
kube
浏览 28
提问于2022-01-06
得票数 0
回答已采纳
1
回答
“HelmCluster”对象在从GCE连接到
Dask
发行版时没有属性'status‘
python
、
kubernetes-helm
、
dask
、
dask-kubernetes
我已经在gke上部署了
dask
图表,可以用distributed.Client访问集群。现在我需要用
dask
_
kubernetes
.HelmCluster连接到
dask
集群,但是它会引发这个异常。from
dask
_
kubernetes
import HelmCluster Environment: 报告的例外情况
Dask
版本: 2021.
浏览 6
提问于2022-03-10
得票数 0
1
回答
dask
kubernetes
aks (azure)虚拟节点
azure
、
kubernetes
、
dask
、
azure-aks
、
dask-kubernetes
它使用远程调度器(
dask
.config.set({"
kubernetes
.scheduler-service-type": "LoadBalancer"})),工作非常完美。这与传递containers: args: [
dask
-scheduler]有关import
dask
from
dask
_
浏览 5
提问于2020-07-20
得票数 0
回答已采纳
1
回答
helm
dask
多节点
dask
、
kubernetes-helm
我有一个由两台机器组成的
kubernetes
集群。我希望一台机器作为scheduler,两台机器都作为workers.我按照官方说明安装了helm
dask
:helm install --name my-release
dask
/
dask
然而,我注意到
kubernetes
dashboard上只有一个节点上安装了schedule和workers,而不是两个。如何使用helm
dask
在两个节点上创建工作进程?即使我选择了
dask
-cuda-worker选项,它
浏览 2
提问于2020-06-15
得票数 0
2
回答
连接到现有的
Kubernetes
Dask
集群
python
、
kubernetes
、
dask
、
kubernetes-helm
、
dask-kubernetes
使用,我创建了一个
Dask
集群。
dask
01-worker-ccc-cccc 1/1 Running 0 3d19hfrom
dask
import distributed cluster = None # TODO: configure KubeCluster somehow https://
kubernetes
.<e
浏览 17
提问于2020-03-14
得票数 1
1
回答
外部IP未暴露的Helm
Dask
kubernetes
我要做的是在microk8s
kubernetes
上创建一个
dask
cluster。根据Helm网站:https://hub.helm.sh/charts/
dask
/
dask
,要部署集群,我必须键入以下内容: helm repo add
dask
https://helm.
dask
.org/helm install --name my-release
dask</
浏览 7
提问于2020-06-11
得票数 4
1
回答
如何为
dask
_
kubernetes
配置jupyterlab?
python
、
kubernetes
、
dask
、
dask-kubernetes
我正在尝试配置jupyterlab
dask
扩展,以便“新建”集群按钮将创建一个KubeCluster,而不是默认的LocalCluster。已尝试编辑~/.config/
dask
/labextension.yml,因此它将包含以下内容: worker-template: spec: containers: -
dask</em
浏览 4
提问于2020-02-23
得票数 2
1
回答
为什么
Dask
客户端说我的集群拥有比实际可用总量更多的核心和内存?
kubernetes
、
dask
在使用
Dask
时,我试图了解
Kubernetes
吊舱与集群节点的核心和内存之间的关系。我目前的设置如下: 当我在
Dask
中使用
dask
.distri
浏览 0
提问于2019-03-05
得票数 1
1
回答
401未授权连接
Dask
KubeCluster
python
、
azure
、
kubernetes
、
dask
、
azure-aks
做本
教程
中的hello世界: labels: containers: image: daskdev/
dask
value: "true" nod
浏览 6
提问于2022-02-02
得票数 0
1
回答
确定使用
Kubernetes
部署的
Dask
调度程序IP地址
python
、
azure
、
docker
、
kubernetes
、
dask
我正在尝试用
Kubernetes
Dask
实现分布式的,有一个调度器和三个工作者。由于这些IP地址是由
Kubernetes
动态定义的,因此我需要了解这应该如何配置。- name: cont-scheduler command: ["
dask
-schedulerimage: sofacr.azurecr.io/img-python-001:latest
浏览 13
提问于2021-08-27
得票数 1
回答已采纳
1
回答
Dask
worker似乎已死,但无法找到worker日志以找出原因
python
、
dask
我有一段在本地机器上运行的
DASK
代码,它90%的时间都在工作,但有时会卡住。卡住了。没有崩溃,没有错误,打印输出不是cpu使用率。永远不会结束。和我的~/.config/
dask
/config.yaml或~.
dask
/config.yaml类似于日志
浏览 0
提问于2019-08-23
得票数 2
1
回答
在
dask
中,运行本身运行docker容器的任务的最简单方法是什么?
docker
、
dask
、
dask-distributed
、
dask-kubernetes
for result in map(task, args):result_1result_3import subprocess from
dask
_cloudprovider import FargateClusterimport
dask
.bag return sub
浏览 18
提问于2020-03-05
得票数 1
回答已采纳
2
回答
我是否必须使用jupyter笔记本/实验室/集线器在
Kubernetes
集群上运行
Dask
?
python-3.x
、
kubernetes
、
jupyter
、
dask
、
dask-distributed
我正在测试
dask
.distributed的大数据和机器学习相关的东西。我看过视频,阅读过博客页面,并试图理解图书馆的文档。但我很困惑。在我发现的每一个源中,总是有更好的笔记本/实验室/集线器。我是否必须使用jupyter笔记本/实验室/中心才能在
Kubernetes
集群上运行
Dask
?难道我不能用2台笔记本电脑构建一个
Kubernetes
集群,然后运行
Dask
,而不会在它们上运行与jupyter相关的东西吗? 为什么?因为我想使用我自己的服务器(
kuber
浏览 5
提问于2019-11-14
得票数 0
回答已采纳
1
回答
没有这样的文件或目录:.../part.0.parket
python
、
kubernetes
、
dask
、
jupyterhub
将parquet文件上传到
kubernetes
集群以使用
Dask
进行处理后,我在尝试读取时得到一个FileNotFoundError df=dd.read_parquet('home/jovyan/foo.parquet我不确定这是否重要,但为了在
kubernetes
集群上启动
dask
客户端,我使用了以下代码: from
dask
.distributed import Client, progress client=Client('
dask
-sc
浏览 12
提问于2019-03-20
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
fold 命令入门示例教程
Ajax XML 示例|AJAX 教程
ChatGPT教程Prompt技术知识整合示例
React Hooks 详细解读与在线示例教程
Arduino入门教程:Arduino概述及简单示例
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券