使用文件结构将多个模块推送到Dask集群

文章/答案/技术大牛

发布

1回答

dask

这几乎是这个问题的扩展Push a pure-python module to Dask workers 我有一个类似的挑战，除了我试图运行的代码分散在多个模块中，其中一些模块来自一个子目录。为了合理地组织我的代码，我有一个主要的'code_runner‘，它从"features“文件夹加载不同的模块，以便执行许多数据处理步骤。我知道我可以将文件加载到Dask集群，但我如何才能这样做，以便维护目录

浏览 13提问于2019-05-26得票数 1

1回答

达斯克网关-向工作人员发送自定义的python文件

python、dask、dask-distributed、dask-gateway

在集群环境中，我正在通过Dask网关使用Dask。我在木星笔记本中创建了计算图表。在我的延迟函数中，它调用在几个单独的.py文件中定义的多个函数。目前，我遇到了工作人员说找不到这些模块的错误。我想这是因为工人无法访问这些.py文件。我想知道如何将这些.py文件“发送”给工人？谢谢。

浏览 16提问于2021-12-08得票数 1

1回答

在所有dask.distributed worker / scheduler中维护git存储库

dask、dask-distributed

让所有Dask (分布式)工作者/调度器理解自定义git存储库的python模块的最佳方式是什么？如果对git存储库的新提交以同样的方式反映在Dask worker/ schedulers上，那就更好了。我尝试了以下几种方法： (1)使用client.upload_file接口，将文件从主节点复制到工作节点。单独复制文件会丢失模块/目录结构，因此压缩文件，然后上传可以正常工作。(2) (

浏览 19提问于2019-10-31得票数 1

1回答

多处理与Dask

python、dask、dask-distributed

场景:我想对一个文件(~100 MB)执行简单的计算。我有上千份这样的文件。对于本例，考虑计算为“计数行数”。cluster = PBSCluster(cores=

浏览 5提问于2021-03-17得票数 1

2回答

Dask仪表板是空的

python、dask、dashboard、dask-distributed

我有几个python脚本，它们从不同的数据库运行不同的Dask任务，我使用Python多处理模块同时运行所有Python脚本。我与任务管理器检查了脚本是否并行运行，并且能够访问我的dask仪表板。这是我的dask仪表盘的截图。if __name__ == '__main__': client = Client

浏览 7提问于2022-03-01得票数 0

回答已采纳

1回答

git克隆具有多个子模块和git push的Github存储库

github

我需要从具有多个子模块的github.com中克隆特定分支的存储库。我使用的是git克隆-b xxx -递归子模块，但是当我使用git推送到我们的内部github服务器时，子模块文件夹就变灰了。我正在使用git推-修剪后，克隆，我能够看到所有的子模块文件在本地回购。但是，在推动它的同时，它正在变得灰暗。我是否遵循将克隆的回购(带有子模块)推到内

浏览 2提问于2020-08-19得票数 0

回答已采纳

1回答

如何使用Dask在纱线上运行并行python作业？

hadoop、parallel-processing、hadoop-yarn、dask、dask-distributed

我有几个关于使用Dask与Hadoop/Yarn有关的问题。 from dask.distributed import Client它导致错误： import dask.dataf

浏览 5提问于2017-10-25得票数 2

回答已采纳

1回答

从dask dataframe提供程序收集属性

python、pandas、dask

目前，我有一种专用的文件格式，用于输入dask.DataFrame。我有一个函数，它接受一个文件路径并返回一个pandas.DataFrame，dask.DataFrame成功地在内部使用该函数将多个文件加载到同一个dask.DataFrame。直到最近，我还在使用自己的代码将几个pandas.DataFrames合并为一个，现在我正在使用dask。在解析

浏览 7提问于2016-01-26得票数 2

回答已采纳

1回答

平面文本文件中的分布式dask矩阵

python、apache-spark、dataframe、pyspark、dask

我正在尝试将矩阵的平面文本文件(以制表符分隔)表示到dask数组中，使用distributed将数组的块分布到集群中。(旁白:这与PySpark的方法没有什么不同) 但是，我不清楚如何使用可用的工具将文本文件解析成矩阵结构。在PySpark中，我可以使用一个简单的map来完成这个任务，该map可以将空格上的每一行拆分，并将令牌转换为浮动列表，最后将列表转换为索引的

浏览 1提问于2016-06-03得票数 1

回答已采纳

1回答

如何在dask中并行化groupby()？

pandas、parallel-processing、pandas-groupby、dask

我试过了： df.groupby('name').agg('count').compute(num_workers=1) df.groupby('name').agg('count').compute(num_workers=4) 他们花了同样的时间，为什么num_workers不能工作？谢谢

浏览 25提问于2019-04-10得票数 7

1回答

使用查找我自己的模块的dask设置PBS集群时遇到麻烦

python、dask、distributed、dask-distributed、dask-jobqueue

当我尝试使用jobqueue PBS集群而不是使用默认的本地集群(即client = Client())来设置我自己的客户端时，遇到了一些错误。在设置默认值时，可以识别我自己的模块，但我意识到我在PBS集群中的工作人员找不到它们。和其他研究对理解我能做什么很有帮助。cl

浏览 3提问于2020-07-16得票数 0

1回答

Dask +SLURM over ftp挂载(CurlFtpFS)

dask、slurm、dask-distributed、curlftpfs

因此，我有一个由4个覆盆子Pis组成的可用的DASK/SLURM集群，其中包含一个通用的NFS共享，这样我就可以成功地运行Python作业。但是，我想在集群中添加更多不支持NFS挂载的arm设备(缺少内核模块)，因此我希望使用基于CurlftpFS的fuse ftp挂载。我使用匿名用户名成功地设置了挂载，没有任何密码，所有节点都可以看到通用FTP共享(就像以前它是NFS共享时一样)。我仍然可以运行SLURM作业(因为它们不使用共享)，但是当我尝试运行D

浏览 20提问于2021-02-23得票数 0

1回答

在什么情况下，我可以使用Dask而不是Apache？

python、pandas、apache-spark、dask

但是，由于系统内存有限，我发现在Pandas中处理多个更大的数据文件很困难。我从了解了下面的细节在有数百个节点的集群上，弹性地向上扩展。Dask.dataframe并没有尝试实现许多熊猫特性或任何像NDFra

浏览 4提问于2016-08-10得票数 101

1回答

如何将.pem文件发送到Dask集群？

python、dask、distributed、dask-distributed、dask-kubernetes

在尝试以分布式方式运行sqlalchemy查询时，我有一个如下所示的dask表达式。但是，它引用了在connect_args参数中输入的.pem密钥文件。如何将此密钥文件上载到dask群集/工作器，以便它允许我运行此sqlalchemy查询？return pd.read_sql(q, conn) delayed(execute_query)(q) for q in queries]) 我尝试使用client.upload_file将

浏览 17提问于2020-04-27得票数 0

回答已采纳

1回答

代理人与执行人的关系？

python、prefect

根据Prefect的混合执行模型，代理“监视任何预定的流运行，并相应地在您的基础结构上执行它们”，而执行者“负责实际运行的任务……用户可以submit函数和wait来获取其结果。”例如，如果我指定流运行应该使用Docker代理和Dask执行器，那么代理和执行器之间具体发生了什么交互？如果我使用码头代理和本地执行者呢？或者是当地探员和一名达克执行者？

浏览 2提问于2021-04-05得票数 13

回答已采纳

1回答

dask分布式数据模型上的慢len函数

python、performance、dataframe、dask

我一直在测试如何使用dask (有20个核心的集群)，我对调用len函数和切片遍历loc的速度感到惊讶。import dask.dataframe as ddclient = Client('192.168.1.220:8786')

浏览 2提问于2017-01-27得票数 15

回答已采纳

1回答

用于嵌套模块的client.upload_file()

dask、dask-distributed

我有一个项目结构如下； - childmodule1/ - childmodule2/ - common.py在我的位于Dask集群边缘节点上的Jupyter笔记本上，我正在执行以下操作 from topmodule.childmodule1直接位于"topmodule“下的文件似乎会被上传，但嵌套的文件

浏览 0提问于2019-10-31得票数 3

1回答

将大型dask数据文件写入单个S3 CSV文件

dask、dask-distributed

我正在使用一个dask.distributed集群，我希望将一个大的数据文件保存到一个CSV文件到S3，如果可能的话，保持分区的顺序(默认情况下，to_csv()将数据写入多个文件，每个分区一个)。此外，这个文件存储操作也应该作为一个延迟/延迟的任务来执行(它应该在集群工作人员上执行)。我可以想到的第一个解决方案是将分区存储在一个临时的S3位置，然后在延迟函数中使

浏览 0提问于2017-09-20得票数 1

回答已采纳

3回答

如何构造Java系统？如何定义应用程序这个术语，从而定义EAR的内容？

deployment、build-process、jakarta-ee、build-automation、packaging

我正在设计一个用Java 5开发的大型软件系统的构建系统和目录结构。我确实读过泛型定义和示例，但我仍然对Java术语感到困惑：什么是Java应用程序？因此，EAR文件的内容是什么？什么是Java项目？( Netbeans以及Java蓝图指南、企业应用程序项目约定中都使用</

浏览 1提问于2009-01-03得票数 2

回答已采纳

1回答

导入和使用大型数据集(Python初学者)

python、pandas、tensorflow、out-of-memory、dask

我看到我们可以使用TensorFlow，或者在pandas指令中指定块，或者使用库Dask，但是我不知道哪一个最适合我的问题，作为一个初学者，它也不是很清楚。我想做的是用一个训练和测试样本来测试多个ML算法。我不知道如何处理这个问题。谢谢!

浏览 0提问于2021-04-16得票数 0

点击加载更多