腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Dask
依赖
图中
的
容错
python
、
dask
、
dask-distributed
我有一个小集群,我在上面部署了一个
dask
图,使用: from
dask
.distributed import Clientclient = Client(f'{scheduler_ip}:{scheduler_port}', set_as_default=False) client.get(workflow, final_node) 当然,在工作流程中,我有一堆并行运行
的
任务。但是,有时一个worker正在运行
的
模块中会出现错误。一旦该模块出现故障,它就会返回到调度器,然后调度器停止并行运行
浏览 7
提问于2019-02-13
得票数 1
回答已采纳
2
回答
火花对达斯克
的
容错
性
apache-spark
、
pyspark
、
dask
我在已知
的
限制部分中阅读了关于
的
Dask
文档: 您主要是通过一些轻量级机器学习来进行业务分析。你想要一个一刀切
的
解决方
浏览 1
提问于2018-06-26
得票数 2
回答已采纳
1
回答
禁用
dask
分布中
的
纯函数假设
python
、
dask
、
dask-distributed
Dask
分布式库说: 我知道,对于submit和map,有一个可以使用
的
参数。但是对于
dask
集合
的
计算,我还没有找到任何解决方案。
浏览 6
提问于2022-11-01
得票数 0
回答已采纳
3
回答
AttributeError:模块“
dask
”没有属性“延迟”
dask
、
dask-delayed
使用Pycharm社区2018.1.4
Dask
2.8.1AttributeError: module '
dask
' has我
的
实施结构如下:def main() data = {} data.update(<em
浏览 6
提问于2019-12-04
得票数 2
回答已采纳
1
回答
如何找到
dask
.delayed任务
的
输入?
python
、
dask
、
dask-delayed
给定一个
dask
.delayed任务,我希望获得该任务
的
所有输入(父级)
的
列表。例如,def inc(x): return [inc我如何才能得到sum#3
的
父母,使其产生一个[inc#1, inc#2, inc#3]列表
浏览 1
提问于2017-12-01
得票数 1
回答已采纳
1
回答
宽
依赖
关系
的
火花
容错
apache-spark
、
distributed-computing
、
fault-tolerance
我想了解星火是如何实现
容错
的
。在他们
的
中,他们描述了他们是如何为“狭窄
的
依赖
关系”做这件事
的
,就像地图一样,这是相当直接
的
。但是,如果节点在一个广泛
的
依赖
项(如排序操作)之后崩溃,则它们没有说明它们要做什么。我唯一能找到
的
就是: 相反,在具有广泛
依赖
关系
的
沿袭
图中
,一个失败
的
节点可能会导致RDD
的
所有祖先
的
某
浏览 5
提问于2017-04-18
得票数 3
回答已采纳
2
回答
无法用
dask
的
from_castra()函数加载castra文件
python-2.7
、
dask
、
castra
我试图复制关于castra、
dask
和reddit注释
的
页面的示例,在运行 相同
的
代码和文件在windows中运行良好。 任何信息都可能有帮助!ValueError:预期
的
(名称,dtype)元组
的
可迭代性
浏览 1
提问于2016-11-21
得票数 0
回答已采纳
2
回答
使用内核外计算
的
dask
中
的
循环引用
python
、
dask
我正在写一个库,它实现了各种核心外算法,并遇到了这样一个问题:可以通过源代码构建循环
依赖
的
计算图,并将其存储到相同
的
memmapped对象中。例如import
dask
.array as da chunk_shape = (100, 100) #,如果数据太大而无法缓存在内存中,
dask
将完成操作,但行为是未定义
的
,因为源数据可以被结果数据覆盖,然后再用于计算
的
其他部分。因
浏览 15
提问于2018-02-26
得票数 1
回答已采纳
1
回答
Dask
如何在云中
的
多个vm上执行代码
pandas
、
dask
、
dask-distributed
、
dask-delayed
、
dask-kubernetes
我用
dask
写了一个程序,但被延迟了,现在我想在云中
的
几台机器上运行它。但有一件事我不明白--
dask
如何在云中
的
多台机器上运行代码,而不需要代码
的
所有
依赖
项?
浏览 12
提问于2020-03-04
得票数 0
回答已采纳
1
回答
read_csv:期望每个分区执行3个任务,但只有一个任务
dataframe
、
task
、
dask
该链接显示了在木星笔记本中运行3行代码
的
结果: 该图由99个节点组成,因为每个分区都需要创建三个操作:读取原始数据、将数据拆分为适当大小
的
块和初始化基础DataFrame对象。
浏览 2
提问于2021-01-04
得票数 0
5
回答
默认pip安装
Dask
提供"ImportError:无模块名为toolz“
python
、
installation
、
pip
、
importerror
、
dask
我使用这样
的
pip安装了:当我尝试执行import
dask
.dataframe as dd时,我会得到以下错误消息: File "<stdin>", line 1, in <module> File "/path/to/venv/lib/python2.7/site-pack
浏览 9
提问于2017-01-03
得票数 22
回答已采纳
3
回答
dask
_geopandas:只有几何列
的
GeoDataFrame
python
、
dask
、
geopandas
、
shapely
、
dask-dataframe
points = [Point(0,0)]gdf = gpd.GeoDataFrame(geometry=gser.values)为了澄清:我有一个
dask
_geopan
浏览 15
提问于2022-08-09
得票数 1
回答已采纳
1
回答
如何在Kubernetes部署
的
Dask
网关中调试CommClosedError
python
、
kubernetes
、
dask
我已经在Kubernetes集群中部署了
dask
_gateway 0.8.0 (带有
dask
==2.25.0和distributed==2.25.0)。任何指针都会受到极大
的
感谢。我已经尝试增加所有超时,但没有任何变化: os.environ["
DASK
_DISTRIBUTED__COMM__TIMEOUTS__CONNECT"]="100s" os.environ["
DASK
_DISTRIBUTED["
DASK
_DISTRIB
浏览 2
提问于2020-10-14
得票数 2
回答已采纳
2
回答
包括自定义
Dask
图中
的
关键字参数(kwargs)
python
、
dask
熟悉如何将参数传递给
Dask
图中
的
函数,并阅读了。然而,似乎仍然遗漏了一些东西。 编写一个包装器,将位置参数转
浏览 1
提问于2018-06-14
得票数 3
回答已采纳
1
回答
Dask
可视化方法图像大小太小
python
、
dask
、
graphviz
我正在尝试使用visualize方法来可视化一个
Dask
图形。但是,生成
的
图像太小(因为我
的
图中
有很多节点)。我怎样才能增加它
的
尺寸?以下是代码:from matplotlib import pyplot as plt missing_count = ((missing_values / df.index.size) * 100) missing_c
浏览 0
提问于2020-05-02
得票数 0
回答已采纳
1
回答
处理图并行计算中
的
相互
依赖
文件
python-3.x
、
parallel-processing
、
dask
、
dask-delayed
我试图通过使用(或由
dask
.delayed自己创建任务图)来并行化以下代码( ):write_dough() # writes file .z=x+y明确了变量之间
的
依赖
关系;但这并不是. 。有习惯性
的
解决办法吗? 这是我目前
的
解决方案。/kitchen1'无处不在,这是丑陋
的</e
浏览 9
提问于2020-03-28
得票数 0
回答已采纳
1
回答
如何将一组节点与
Dask
一起运行
dask
、
dask-distributed
、
dask-delayed
我
的
图表如下所示: ? 当我运行该图时,bokeh会像这样显示执行路径: ? 这会导致我
的
机器耗尽内存并崩溃,因为加载图像
的
输出是兆字节
的
图像。我希望图表像这样运行,因为保存结果
的
结果非常小,应该很好: ? 我怎样才能用
dask
做到这一点? 在可能融合中间节点
的
地方,Customizing Optimization看起来会很有用。这是最好
的
方法吗?
浏览 9
提问于2019-03-13
得票数 1
回答已采纳
1
回答
使用Python中
的
Dask
并行运行函数
python
、
parallel-processing
、
dask
我试图使用
Dask
.delayed来并行计算一个函数。函数BL.BLSN有一个参数,它是一个字符串。forcing.dat','forcing.dat','forcing.dat']当我打印dfs时,我会得到延迟对象
的
列表这正是我所期待
的
。2d3ef4973772') 然而,当我尝试:我得到: AttributeError: 'list'
浏览 3
提问于2019-11-01
得票数 1
2
回答
Dask
字典到延迟对象适配器
python
、
dask
、
dask-distributed
我一直在
Dask
字典中工作,但团队正在研究delayed。我需要将我
的
dsk{}转换为最后一步延迟
的
对象。', 3),} client.get(dsk, 'final')@<em
浏览 10
提问于2020-06-03
得票数 1
1
回答
在
dask
中,运行本身运行docker容器
的
任务
的
最简单方法是什么?
docker
、
dask
、
dask-distributed
、
dask-kubernetes
中通过云计算资源并行计算
的
最简单方法是什么?但这当然不起作用,因为执行python代码
的
Fargate上
的
docker容器正在运行默认
的
dask
镜像,因此不能自己生成docker容器(我不确定在这个"docker- in -docker“方向上是否有解决方案):from
dask
_cloudprovider import FargateCluster
浏览 18
提问于2020-03-05
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
尹立博:Python 全局解释器锁与并发
MillWheel:在网络规模上可容错的流式处理
Ray 分布式计算框架详解
初探Kafka Streams
有向无环图检测
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券