Dask中延迟函数与正常函数的区别
Dask是一个用于并行计算的开源Python库，它提供了一种延迟计算的方式来处理大规模数据集。延迟函数和正常函数在Dask中有以下区别：
- 延迟计算：延迟函数是指在Dask中定义的函数，它们不会立即执行，而是在需要结果时才会触发计算。这种延迟计算的方式可以有效地处理大规模数据集，避免一次性加载整个数据集到内存中。
- 任务图：延迟函数在Dask中会生成一个任务图，该图表示函数之间的依赖关系。任务图可以帮助Dask进行任务调度和并行执行，以提高计算效率。
- 惰性计算：延迟函数的执行是惰性的，即只有在需要结果时才会触发计算。这种方式可以避免不必要的计算，节省计算资源。
- 分布式计算：Dask可以在分布式环境中运行，延迟函数可以在分布式集群上并行执行。这使得Dask能够处理更大规模的数据和更复杂的计算任务。
- 应用场景：延迟函数适用于需要处理大规模数据集的计算任务，例如数据清洗、数据分析、机器学习等。通过延迟计算和并行执行，Dask可以加速这些计算任务的处理速度。
对于Dask中的延迟函数，腾讯云提供了适用于大规模数据处理和分布式计算的产品，例如腾讯云的弹性MapReduce（EMR）和弹性数据处理（EDP）服务。这些产品可以与Dask结合使用，提供高性能的大数据处理和分析能力。
更多关于腾讯云的产品和服务信息，请访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
Dask中延迟函数与正常函数的区别
python、dask
我创建了一个Aggregation对象来模拟pandas的first操作，它可以很好地处理dask dataframe，但是在延迟函数中使用时，它会给出一个pandas错误'Aggregation' objectis not callable，而在本例中，只使用pandas就可以了。在后来的检查中，我发现在添加@delayed装饰器时，我的接收Dask DataFrame的操作函数</em
浏览 5提问于2017-12-19得票数 2
回答已采纳
1回答
为什么有时我必须在dask延迟函数上调用compute()两次？
class、dask、dask-delayed
我正在使用dask延迟函数，在函数上使用@dask.delayed装饰器时，我熟悉dask的do's和don。我意识到，有时我需要调用compute()两次才能得到结果，尽管我认为自己遵循了最佳实践。也就是说，不要在另一个dask延迟函数中调用dask延迟函数。
我在两个场景中遇到了这个问题:当有嵌套函数</e
浏览 2提问于2019-07-09得票数 1
回答已采纳
1回答
使用dask延迟合并一个巨大的数据帧列表
dask、dask-delayed
我有一个函数，它向我返回一个数据。我试图通过使用dask并行地使用这个函数。对如何改进运行时间有什么建议吗？
可视化的图形
浏览 1提问于2018-11-11得票数 2
1回答
不能用达斯克训练Keras模型吗？
dask、dask-delayed
我希望从使用Dask延迟的简单示例中可以看到，我基本上可以从scikit复制gridsearchcv --使用以下几个函数调用来学习。该模型似乎永远不适合(model.fit(.))因为循环的其余部分还在继续(pred(.))？
我如何嵌套函数有问题吗？我知道有一个用于dask的gridsearchcv，但问题是我的真实模型是一个多输入的Keras，而且您不能以'X‘的形
浏览 1提问于2018-07-07得票数 0
1回答
Dask.delayed在类中没有.compute()
python、shared-memory、python-multiprocessing、dask
我有一个文件夹，里面有497个熊猫的数据文件，存储在.parquet文件中。文件夹总维度为7.6GB。
还有另一个问题，可能
浏览 4提问于2017-11-22得票数 3
1回答
如何让DASK读取BSON文件？
python-3.x、dask、bson
我正在考虑如何通过编写自定义的DASK bson_reader来读取这些文件。
问题是解析mongo_db BSON文件并遍历所有文件。当迭代时，BSON需要找到BSON块的结尾，以分离每个文件块并防止将整个文件加载到内存中。pymongo bson模块可以做到这一点，但是只返回一个文件迭代器，这个迭代器不能用于例如:dask.bug.load_csv(文件).map(迭代器)。写自定义dask.bug.bson_read的样板是什么？或者有什么想法？
浏览 2提问于2020-03-12得票数 0
1回答
dask延迟函数使用相同的conda环境吗？
python、conda、dask、dask-distributed、dask-delayed
我已经使用conda安装了dask。当我创建延迟函数并使用dask在我的PBS集群上运行它们时，如何确保工作节点在运行延迟函数之前激活相同的conda环境？
浏览 0提问于2020-11-11得票数 2
1回答
Dask延迟最佳实践的批次说明是如何工作的？
python、dask、dask-delayed
我想我遗漏了一些东西(仍然是Dask Noob)，但我正在尝试分批处理的建议，以避免在这里执行太多的Dask任务：
import dask
return x*x
sub_results = [] batches.append(result_batch)
批处理现在包含延迟<
浏览 0提问于2019-06-05得票数 0
2回答
dask.distributed不使用集群
dask、dask-distributed、dask-delayed
import pandas as pdimport dask
dask_compute = dask.delayed(add)(dask_df)
dask_compute.compute()dask.delayed是否使用可用的</e
浏览 4提问于2019-11-30得票数 1
回答已采纳
1回答
dask缓存延迟函数示例
caching、dask
一个简单的dask缓存示例。缓存不能像预期的那样工作。让我们假设我们有一个数据列表和一系列延迟的函数，期望对于遇到相同输入的函数，根据Cache值缓存/记忆结果。
这个例子说明了事实并非如此。，在调用具有相同值的函数时，期望下一次迭代使用缓存版本。但显然不是，dask_key_name用于指定相同的输出，但我希望为各种输入评估此函数，如果看到相同
浏览 0提问于2020-05-08得票数 2
2回答
解压元组列表中的dask延迟对象
python、multiprocessing、dask
我有一个函数，返回两个元素的元组。函数通过池星图调用，以生成元组列表，这些元组被解压缩为两个列表。__name__ == '__main__':现在，我希望使用daskname__ == '__main__':在不使用results.c
浏览 0提问于2021-03-12得票数 2
回答已采纳
1回答
在应用函数之前，强制Dask延迟对象计算所有参数
python、dask
我真的很喜欢使用Dask。def inc(x, y):类似这样的东西 if hasattr(y, compute):
y = y.compute()
浏览 0提问于2017-01-30得票数 1
2回答
不能用dask将csv读取为dataframe的dataframe与fb先知匹配
python、pandas、dask、modin、facebook-prophet
参考文献：
我有48 my的ram这里是我使用的库的版本- dask==2.18.0- pandas==1.0.3pd.options.mode.chained_assignment = None
这有助于在im使用dask.distributed时执行dask错误。所以，我有一个21 am的csv文件，我正在使用dask和jupyter笔记本.我试着从mysql数
浏览 2提问于2020-06-08得票数 0
1回答
在不同列表中并行运行所有元素组合
python、parallel-processing、dask、dask-distributed、dask-delayed
我试图在不同数组中的所有元素的不同组合上与dask一起运行一个函数，并且我很难应用它。{k}') j=j+1这段代码在我的计算机上运行时间是18分钟，而每个数组只有5个元素，我想在更大的数组上并行运行这段代码。函数内部的所有计算都不是相互独立的。您可以假设该函数所做的是: list
浏览 13提问于2022-01-07得票数 0
回答已采纳
1回答
使用dask将ufunc应用于xarray单数据集变量作为延迟操作
python、dask、python-xarray
我想将自定义函数应用于xarray.Dataset中的一个变量，只修改指定的变量。同时，我正在尝试制作dask计算图的这一部分，以便在使用to_netcdf读取到磁盘之前将其延迟。我知道我可能可以直接使用变量的名称(如Dataset.var )访问它，并将其传递给apply_ufunc()，但我不太明白如何在输出之前将该函数的输出(延迟的未来)与原始数据集重新组合
浏览 0提问于2019-07-13得票数 0
1回答
Dask延迟忽略因变量的名称
dask、dask-delayed
在使用delayed创建计算图时，我尝试分配名称，以便可视化该图时它是可读的。但是，对于依赖于函数的延迟变量，name参数似乎不会影响键。='avg_result')(a,b) (我不能嵌入图像)，但我看到的不是如果我查看x.key或y.key，它们与我提供的名称不匹配。这是预期的行为吗？
浏览 6提问于2017-08-29得票数 0
回答已采纳
1回答
将图像加载到Dask Dataframe中
python、pandas、dask、dask-delayed
我有一个dataframe，它包含列中的图像路径(称为img_paths)。在接下来的步骤中，我想要做的是使用这些图像路径将图像加载到另一列(称为img_loaded)中，然后应用一些预处理功能。但是，在加载(或，图像读取)过程中，我总是得到不同的结果，包括对imread函数的一个时间延迟包装，另一个时间正确加载图像(我可以看到数组)和其余时间：FileNotFoundError。(imread,
浏览 0提问于2019-06-16得票数 1
回答已采纳
1回答
在运行map_partitions之前，dask是如何知道变量状态的？
python、dask、directed-acyclic-graphs、dask-distributed、dask-dataframe
在下面的dask代码中，我在执行两个map_partitions之前将x设置为1和2。结果似乎很好，但我并不完全理解。如果dask只有在找到map_partitions时才等待运行这两个compute()，并且在找到compute() x时是2，那么dask如何知道x=1在第一个map_partitions中
pdf
浏览 9提问于2022-06-02得票数 1
回答已采纳
1回答
不支持延迟对象的真相。
python、dask
我使用dask来延迟一些函数的计算，这些函数在我的代码库中返回序列。到目前为止，除了我使用np.average之外，大多数操作似乎都像预期的那样运行。我所拥有的函数返回一个pd.Series，然后我要计算一个加权平均值。下面是一个非达克和达斯克版本：import numpy as npa = np.av
浏览 0提问于2018-10-04得票数 4
回答已采纳
1回答
替换dask数据帧分区
dask
我是否可以用我单独创建的另一个dataframe分区替换一个dataframe分区，该分区的行数和结构相同？如果是，怎么做？
有可能有不同的行数吗？
浏览 3提问于2018-06-29得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
