对于数据库中的数千个sql查询,我需要尴尬地并行处理获取作业。以下是简化的示例。然后我试着用dask像这样并行它。dask.config.set(scheduler='processes')dbdata=db.from_sequence([str(v) for v in所以我想这样的方式一定更优雅:dask.config.set(scheduler='
我对DASK还是个新手,这一点很明显……我正在尝试运行一个分布式dask设置,其中1个节点用于调度器,并且有足够的工作节点来容纳内存中的数据--在本例中,我使用了15个工作节点。我已经将数据复制到工作节点,但是在我的客户机上没有可用的数据,因此我像这样延迟了数据的加载:import dask.dataframe as dd
from dask</e