Dask广播在计算图期间不可用
Dask广播是指在Dask计算图的执行过程中，不支持广播操作。广播操作是指将一个较小的数组或标量值扩展为与另一个较大数组具有相同形状的操作。在传统的NumPy中，广播操作是一种非常方便和高效的方式来执行元素级别的运算。
然而，在Dask计算图中，由于其分布式计算的特性，广播操作并不可用。这是因为Dask计算图将任务分发到不同的计算节点上进行并行计算，而广播操作需要在所有节点上进行相同的扩展操作，这会导致数据传输和计算的复杂性增加，影响性能和效率。
为了解决这个问题，可以考虑使用Dask的map_blocks函数来实现类似的功能。map_blocks函数可以将一个函数应用于Dask数组的每个块，从而实现元素级别的运算。通过合理划分块的大小，可以在不进行广播操作的情况下实现类似的效果。
对于Dask广播不可用的情况，可以考虑使用Dask的其他功能和特性来优化计算图的设计和执行。例如，可以使用Dask的分布式调度器来实现任务的并行执行，使用Dask的延迟计算特性来优化计算图的构建，使用Dask的缓存机制来避免重复计算等。
在腾讯云的产品中，可以考虑使用腾讯云的弹性MapReduce（EMR）服务来进行大规模数据处理和分布式计算。EMR提供了基于Hadoop和Spark的分布式计算框架，可以方便地进行数据处理和分析任务。此外，腾讯云还提供了云原生数据库TDSQL、云服务器CVM、云存储COS等产品，可以满足不同场景下的数据存储和计算需求。
更多关于腾讯云产品的详细介绍和使用指南，可以参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
我正在尝试使用Dask，并希望向所有工作节点发送一个查找pandas.DataFrame。有没有办法在将来每个工作节点上只阻塞一次？一个简单的改进可能是使用map_partitions，但只有在分区数量相当少的情况下，这才是可行的。import pandas as pdfrom dask.distributed import Client
client = Client(['foo'] = df_second_dask
浏览 13提问于2019-05-11得票数 1
回答已采纳
1回答
所以我对dask DataFrame.append有个问题。我从主数据中生成了许多派生特征，并将它们附加到主数据框架中。在此之后，任何一组列的dask图都会被放大。下面是一个小示例：import numpy as npimport dask.dataframe as ddddf = dd.from_pandas(df, npart
浏览 3提问于2017-02-02得票数 3
回答已采纳
1回答
当然可以在任何阶段查看Dask图，同时保持对象不变。尽管一旦在Dask对象上调用了.compute()，在运行计算之前仍有机会对Dask图应用额外的优化。在此阶段应用的任何优化都会影响计算的运行方式。但是，这个优化的图形不一定要附加到用户可用的相应Dask对象。有没有一种方法也可以查看实际用于计算的最终Dask图？
浏览 14提问于2018-01-22得票数 2
1回答
使用Dask分配的散射广播列表的适当方法是什么？client.scatter([my_list], broadcast=True)future_list = client.scatter(my_list, broadcast=True)怎样才能解释图形构造时间的差异？这是预期的行为吗？
提前谢
浏览 0提问于2018-06-11得票数 2
回答已采纳
1回答
我运行一个长函数(几个小时)和大结果(几百兆字节)的计算图。这种类型的负载对于dask来说可能是不典型的。我试着在4个工人身上运行这个图表。我看到描述给员工约会的任务：一点点信息：
计算图合
浏览 3提问于2020-06-08得票数 1
环境信息： Python==3.7# http://127.0.0.1:8787/status Cluster Workers: 4 Cores: 4 Memory: 4.20 GB 第一个:带有For循环的延迟函数： @dask.delayed(*rt) 它显示了Wall time: 3.23 s 第二个:基于列表
浏览 25提问于2020-01-27得票数 0
回答已采纳
我是Dask的新手，对它有一些问题。
我正在使用一台机器(4 4GB内存，2核)来分析两个csv文件( key.csv：~200万行，约300Mb，sig.csv：~1200万行，约600Mb)。有了这些数据，pandas不能放入内存，所以我改用Dask.dataframe，我期望Dask将处理可以放入内存的小块(速度可以更慢，只要它能工作，我一点也不介意)，然而，不知何故，Dask仍然耗尽了所有内存
浏览 25提问于2017-03-29得票数 7
我将尝试重新表述我的问题：id,names,amount387,Tim,208129,Patricia,284import dask.dataframeas ddfrom dask.threaded import get
dsk = {
浏览 5提问于2015-10-21得票数 2
回答已采纳
1回答
from dask_gateway import Gatewayimport dask
optionsX_train = ... # build pandas.DataFrame
x = x.persist(get=dask.threaded.get) # chunk locally
futures = client.scatter(
浏览 3提问于2022-01-19得票数 2
回答已采纳
我需要从一组dask Series创建一个dask DataFrame，类似于从列表构建一个熊猫DataFrame我在dask DataFrame构造函数不应该被用户直接调用，它以计算图作为其主要参数。
浏览 13提问于2018-01-04得票数 4
回答已采纳
1回答
下面是一些我需要帮助理解的非常基本的东西：>>> import dask.bag as db File "<stdin>", line 1, in <lambda>
File "/usr/local/lib/python2.7/dist-packages/
浏览 2提问于2017-06-18得票数 0
我们可以创建一个包含一些CPU和一些GPU机器的dask-cluster吗？dask支持这种类型的集群吗？控制任务在特定CPU/GPU计算机上运行的命令是什么？
浏览 0提问于2018-04-16得票数 1
为了，例如，在整个轴上应用一个用Numpy/Numba编码的IIR过滤器，我需要用m1 < m0将一个size=(M, N) dask数组从chunks=(m0, n0)重新分块到chunks=(m1由于Dask避免了重复的任务，因此在重新分块/重新分块合并期间，它将拥有价值(m0, N) (x 2?)的数据。在内存中。有没有一种优化图表的方法来避免这种行为？我知道在哪里可以找到手动优化Dask图的信息。但是，有没有一种方法可以调整调度策略以允
浏览 16提问于2019-03-24得票数 2
回答已采纳
2回答
基于dask的三维体处理
、、、、
然后将输入的3D图像划分为子卷(有一些重叠的边界-对于3x3x3模板Sobel，它将要求+2样本重叠/填充)
为了用图像来解释它--请考虑这是一个3D域分解(这是来自DWT的--但对于说明很好)：
并假设有一
浏览 6提问于2017-03-21得票数 1
回答已采纳
1回答
我有多个dask数组，并希望每次使用imageio将它们保存为GIF或某种电影格式，但我认为这个问题足够普遍，解决方案可以帮助其他人。我想知道是否有一种方法来按顺序计算数组，在计算一个数组并将其写入磁盘时，开始计算剩下的工作人员上的下一个数组。如果可能的话，如果调度程序/图能够在dask数组之间共享任务(如果有的话)，那就太好了。在我看来，代码看起来是这样的：writer =
浏览 0提问于2018-06-09得票数 2
回答已采纳
1回答
因此，我想使用dask并行化这个任务。初始数据帧应广播。但是，计算只有在以下情况下才会失败：<Futureimport Client, progressfrom dask.distributed importVar
浏览 1提问于2020-12-13得票数 0
回答已采纳
> PM10 (time) float32 dask.array<chunksize=(24,), meta=np.ndarray> SO2 (t
浏览 10提问于2022-10-13得票数 0
1回答
用一般的numpy操作编写的逐点函数“dask化”是可行的吗？例如，查看此处：这就是它使用da.from_array的原因。替代方案：或者您可以使用frompyfunc
但它使用的是标量函数，而不是数组函数。遗留问题
浏览 0提问于2018-03-04得票数 0
1回答
我对dask并不熟悉，也不知道dask中计算()方法到底做了什么？它是一种打印对象的方法吗？我从它的网站上读过文档，不确定我是否理解“具体价值”和“懒惰的达克”这两个术语。--您可以通过调用.compute()方法或dask.compute(.)将任何dask集合转换为具体值函数。这个函数将被阻塞，直到计算完成，直接从一个懒惰的dask集合到本地内存中的一个具体值。也就是说，当我创建一个dask对象并在spyder控制台中调用它时，它会产生da
浏览 5提问于2019-11-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
