一种关闭DASK的方法
关闭DASK的方法是通过调用client.close()方法来关闭DASK客户端。DASK是一个开源的并行计算框架，用于处理大规模数据集和执行分布式计算任务。关闭DASK客户端可以释放资源并终止与集群的连接。
关闭DASK的方法有以下几个步骤：
- 创建DASK客户端：首先，需要使用适当的参数创建一个DASK客户端，以便连接到集群或本地计算资源。例如，可以使用
dask.distributed.Client()方法创建一个本地客户端。 - 执行计算任务：在创建客户端后，可以使用DASK进行并行计算任务。根据具体需求，可以编写相应的计算代码。
- 关闭DASK客户端：在计算任务完成后，需要关闭DASK客户端以释放资源。可以通过调用
client.close()方法来关闭客户端连接。
关闭DASK客户端的优势：
- 节省资源：关闭DASK客户端可以释放占用的计算资源，包括内存、CPU等，从而节省资源供其他任务使用。
- 终止连接：关闭客户端可以终止与集群的连接，避免资源浪费和不必要的网络通信。
- 避免意外操作：关闭客户端可以防止意外的计算任务执行，确保计算任务的准确性和可控性。
关闭DASK客户端的应用场景：
- 批处理任务：当需要执行一系列的批处理任务时，可以在每个任务执行完毕后关闭DASK客户端，以便释放资源。
- 交互式计算：在交互式计算环境中，可以在计算完成后关闭客户端，以便及时释放资源并终止与集群的连接。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云DASK产品：腾讯云提供了DASK相关的产品和服务，用于支持大规模数据处理和分布式计算任务。具体产品介绍和使用方法可以参考腾讯云官方文档：腾讯云DASK产品介绍
请注意，以上答案仅供参考，具体的产品和服务选择应根据实际需求和情况进行评估和决策。
相关·内容
1回答
进口：
from dask.distributed import Client
import streamz
import time
模拟工作量：
def increment(x):
time.sleep(0.5)
return x + 1
让我们假设我想在本地Dask客户机上处理一些工作负载：
if __name__ == "__main__":
with Client() as dask_client:
ps = streamz.Stream()
ps.scatter().map(increment).gather()
浏览 3提问于2020-02-03得票数 4
回答已采纳
1回答
我在本地使用dask客户端。问题是，当任务完成时，即使我使用本地调度程序，内存中仍然有很多python实例。这就是我要做的：
x.compute(get=dask.get)
from dask.distributed import Client
client = Client() # Starts local cluster
x.compute()
如果我运行这几次，我将在我的进程中(在windows上)得到几个python.exe。有什么办法防止这种情况发生吗？
谢谢
浏览 2提问于2017-09-15得票数 1
回答已采纳
在使用启动dask LocalCluster时 from dask.distributed import Client
client = Client() 在中断jupyter内核并重新运行单元之后，dask一次又一次地显示以下警告。 distributed.comm.tcp - WARNING - Closing dangling stream in <TCP local=tcp://127.0.0.1:49408 remote=tcp://127.0.0.1:37487> 重启内核没有任何帮助。 如何重启LocalCluster从头开始？
浏览 8提问于2019-12-20得票数 1
回答已采纳
我正在尝试避免重复使用dask.compute(list_of_dask_computations)进行dask计算。在我的代码中，我必须在dask dataframe中创建一些分类列，并调用dask.DataFrame.categorize来使类别成为已知的。但我希望与dask.compute(list_of_dask_computations)提供的其他列上的其他计算同时执行该调用。但我不知道该怎么做。 下面是一个示例： import dask
df = dask.datasets.timeseries()
df['letter'] = df['name'
浏览 12提问于2020-04-15得票数 0
1回答
问题
我想知道dask (特别是dask数组)是否有可能知道是否和何时计算了一些内容。我在考虑单元测试，想知道dask计算数组的次数。类似于模拟对象，知道它们被调用了多少次。像这样的东西已经存在了吗？如果没有，还有比制作更好的方法吗？如果不存在这种情况，那么dask核心开发人员是否会有兴趣添加到核心dask中进行测试呢？
任何帮助都是非常感谢的。
详细信息
假设我有一个函数，它接受一个xarray DataArray，对它做一些事情，然后返回它。在有些情况下，dask数组被隐式转换为numpy数组，包括一个新的dask用户，不知道最好的dask友好的方法来做一些事情。我想编写我的单元测试，以确
浏览 1提问于2018-11-13得票数 2
回答已采纳
我感兴趣的是创建一个dask.array.Array，它在compute()之前/之后打开和关闭资源。但是，我不想假设最终用户将如何调用compute，我希望避免创建自定义的dask Array子类或代理对象，因此我试图将操作嵌入到数组的底层__dask_graph__中。
(旁白:请暂时忽略关于在dask中使用有状态对象的警告，我知道其中的风险，这个问题只是关于任务图的操作)。
请考虑下面的类，该类模拟必须处于打开状态的文件读取器才能读取块，否则就会出现分段错误。
import dask.array as da
import numpy as np
class FileReader:
浏览 7提问于2021-11-14得票数 1
回答已采纳
假设我有某种功能
def f(x):
y = ... # do something
return y
然后我延迟并计算：
result = dask.delayed(f, name='Jim')(x, dask_key_name='Jim')
result.compute()
是否可以从Jim内部获取名称f？我可以向员工询问与当前任务相关的密钥吗？
我找到了，下面给了我一些可能有用的东西，但它不是Jim，而是由dask生成的：
import dask.distributed
dask.distributed.worker.thread_state
浏览 12提问于2022-07-29得票数 0
回答已采纳
我使用Dask在我的代码上有以下结构： @dask.delayed
def calculate(data):
services = data.service_id
prices = data.price
return [services, prices]
output = []
for qid in notebook.tqdm(ids):
r = calculate(parts[parts.quotation_id == qid])
output.append(r) 事实证明，当我在output列表上调用dask.compute()方法时
浏览 49提问于2021-01-08得票数 0
回答已采纳
1回答
我有一个这样的dask数据帧：
pprint(daskdf.iloc[:,95:100].head())
1980-04-02 1980-04-03 1980-04-04 1980-04-05 1980-04-06
0 3.459240 0.0 2.296430 5.771730 13.344725
1 5.036489 0.0 1.021041 3.930686 8.015582
2 0.000000 0.0 0.667812 4.580948 9.824745
浏览 11提问于2020-05-05得票数 2
使用geopandas可以做到：
from shapely.geometry import Point
import geopandas as gpd
points = [Point(0,0)]
gser = gpd.GeoSeries(points)
gdf = gpd.GeoDataFrame(geometry=gser.values)
如果我有一个dask_geopandas.GeoSeries，那么dask_geopandas中的等效行是什么？似乎不能直接使用dask_geopandas.GeoDataFrame构造函数，只能依赖静态方法，但看不到合适的构造函数。
编辑：
为了澄清:
浏览 15提问于2022-08-09得票数 1
回答已采纳
1回答
无末次函数循环的并行计算
、、、、
我试图用脚本并行读取16个gzip文件的内容：
import gzip
import glob
from dask import delayed
from dask.distributed import Client, LocalCluster
@delayed
def get_gzip_delayed(gzip_file):
with gzip.open(gzip_file) as f:
reads = f.readlines()
reads = [read.decode("utf-8") for read in reads]
re
浏览 12提问于2022-01-29得票数 0
回答已采纳
2回答
当我使用dask和pandas运行像这样的循环时(见下文)，只有列表中的最后一个字段会被求值。这大概是因为“懒惰评估”。
import pandas as pd
import dask.dataframe as ddf
df_dask = ddf.from_pandas(df, npartitions=16)
for field in fields:
df_dask["column__{field}".format(field=field)] = df_dask["column"].apply(lambda _: [__ for __ in _ if
浏览 1提问于2019-05-03得票数 0
在OSX10.12.6上运行DASK0.16.0时，我无法将本地dask-worker连接到本地dask-scheduler。我只想跟随官方的。复制步骤：
步骤1:运行dask-scheduler
步骤2:运行dask-worker 10.160.39.103:8786
这个问题似乎与dask调度程序有关，而与工作人员无关，因为我甚至无法通过其他方法(例如nc -zv 10.160.39.103 8786)访问端口。
但是，该进程显然仍在机器上运行：
浏览 8提问于2018-01-02得票数 3
回答已采纳
我安装了dask、dask-core和dask geopandas，如下所示： dask 2021.7.1 pyhd8ed1ab_0 conda-forge
dask-core 2021.7.1 pyhd8ed1ab_0 conda-forge
dask-geopandas 0.1.0a4 pypi_0 pypi 然而，在导入时，我一直收到一条错误消息： "ModuleNotFoundError:
浏览 158提问于2021-07-28得票数 0
回答已采纳
我在一台机器上使用Dask (LocalCluster有4个进程，16个线程，68.56 to内存)，当我试图一次计算两个共享依赖关系的结果时，遇到了工作内存问题。
在下面显示的示例中，仅用一次计算就可以很好地快速计算result，工作人员的总内存使用量最高可达1 1GB左右。但是，当使用两次计算来计算results时，当总内存使用量约为40 is时，工作人员会迅速耗尽所有内存，并开始写入磁盘。计算最终将完成，但一旦开始写入磁盘，就会有一个巨大的减速。
直观地说，如果读入一个块，然后立即计算它的两个和，那么该块可以被丢弃，并且内存使用率保持在较低水平。然而，看起来Dask正在优先加载数据，而不
浏览 18提问于2021-02-27得票数 2
回答已采纳
1回答
我正在使用dask对上千个图像进行几个转换。对于每个图像，有5个转换需要按顺序进行。我想在HPC集群上分发这条管道。我有200个可用的CPU，所以我希望能够执行。
input_files = [a list of 2000 files]
futures = client.map(transforms, input_files)
理想情况下，Dask分布式将一次运行200个转换。尽快写出所需的输出，如完成处理等。
然而，它似乎并不完全是这样工作的。我观察到，达斯克倾向于开始200个任务，但只有前3个步骤，然后，例如50个任务或等效的随机处理。
使用分布式dask的好方法是什么？例如，我是否应该执
浏览 2提问于2021-03-08得票数 1
回答已采纳
如何使用需要关键字参数的函数来构造自定义dask图，而这些关键字参数是另一个dask任务的结果？
dask文档和几个堆栈溢出问题建议使用partial、toolz或dask.compatibility.apply。所有这些解决方案都适用于静态关键字参数。我从以及对源代码和调试器的一些阅读中了解到，dask.compatibility.apply可能能够处理作为dask计算结果的关键字参数。然而，我似乎无法正确地理解语法，也无法在其他地方找到答案。
下面的示例展示了一个相对简单的dask.compatibility.apply应用程序，其中包含一个dask计算关键字值。Dask成功地传递了计算出
浏览 0提问于2018-07-04得票数 4
回答已采纳
我试图通过Dataframe保存到与Dask调度程序/工作人员所在的同一台机器上。但是，我在这段时间里遇到了麻烦。
My安装程序：我的python脚本在本地计算机(笔记本电脑16 GB RAM)上执行，但该脚本为运行在远程计算机上的Dask调度程序(用于并行计算的具有400 GB RAM的服务器)创建了Dask客户端。Dask调度程序和工作人员都位于同一台服务器上，因此它们都共享本地可用的相同的文件系统。由于我的团队的所有成员都使用这个远程Dask调度程序，我们正在处理的文件也位于同一服务器上，通过同一个Dask集群向所有成员提供对所有文件的公共访问。
我试过：
# This saves th
浏览 2提问于2019-12-20得票数 2
回答已采纳
我正在从一个普通的txt文件做一个包-它有一堆评论，由两个换行符分隔。但是，有时候--我真的不能预测什么时候--它在处理它的时候会产生FileNotFoundError: [Errno 2] No such file or directory: '/mnt/c/Workspaces/Books/Dask/foods.txt' 下面是实际的代码 from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"
imp
浏览 8提问于2019-05-06得票数 0
我有一些parquet文件，它们都来自同一个域，但在结构上有一些差异。我得把他们都连起来。下面是这些文件的一些示例：
file 1:
A,B
True,False
False,False
file 2:
A,C
True,False
False,True
True,True
我想要做的是以最快的方式读取和连接这些文件，以获得以下结果：
A,B,C
True,False,NaN
False,False,NaN
True,NaN,False
False,NaN,True
True,NaN,True
为此，我使用以下代码，使用(，)解压缩：
import glob
import dask.dat
浏览 4提问于2020-04-23得票数 1
回答已采纳
我在SLURM管理的集群上运行Dask。
dask-ssh --nprocs 2 --nthreads 1 --scheduler-port 8786 --log-directory `pwd` --hostfile hostfile.$JOBID &
sleep 10
# We need to tell dask Client (inside python) where the scheduler is running
scheduler="`hostname`:8786"
echo "Scheduler is running at ${scheduler}
浏览 1提问于2017-05-17得票数 3
1回答
我只是编写了一个简单的C#，以便在任何数字输入都很高时从PCI-7250 (数据采集卡)得到事件回调。这是我的代码：
public delegate void ReadDelegate(uint value)
public void Form1_Load(object sender, EventArgs e)
{
m_dev = DASK.Register_Card(DASK.PCI_7250,0);
ReadDelegate ReadNow = new ReadDelegate(FunctionToCall)
DASK.DI_EventCallBack((us
浏览 2提问于2014-11-27得票数 0
为什么当conda说安装了1.20.1时，Python会在我的dask env中加载numpy 1.20.0？
(dask) ➜ dask: conda list -n dask | grep numpy
numpy 1.20.1 py38h18fd61f_0 conda-forge
(dask) ➜ dask: python
Python 3.8.8 | packaged by conda-forge | (default, Feb 20 2021, 16:22:27)
[GCC 9.3.0] on linux
Typ
浏览 1提问于2021-04-07得票数 0
回答已采纳
1回答
优化散射
、
我有很大的数据问题。具体的问题并不是非常重要，但我已经用达斯克解决了。现在我有两个问题。
from dask import distributed
import numpy as np
local_cluster = distributed.LocalCluster(n_workers=20, processes=True, memory_limit=0)
dask_client = distributed.Client(local_cluster)
hat_matrix = np.random.rand(1000,25000)
weight_matrix = np.random.rand
浏览 2提问于2019-03-07得票数 2
回答已采纳
使用pandas，我可以在特定位置插入一个新列，如下所示： df_all.insert(loc=10, column="label", value=label_column, allow_duplicates=True) 如何使用dask将新列添加到特定位置？(至dask数据帧)
浏览 13提问于2019-12-24得票数 1
2回答
dask中的点产品似乎比在numpy中运行得慢得多：
import numpy as np
x_np = np.random.normal(10, 0.1, size=(1000,100))
y_np = x_np.transpose()
%timeit x_np.dot(y_np)
# 100 loops, best of 3: 7.17 ms per loop
import dask.array as da
x_dask = da.random.normal(10, 0.1, size=(1000,100), chunks=(5,5))
y_dask = x_dask.transpose
浏览 7提问于2015-12-23得票数 4
回答已采纳
我把.tiff文件存储在谷歌云存储上。我想使用分布式Dask集群installed with Helm on Kubernetes.来操作它们。 基于dask-image repo、remote data services上的Dask文档和storage_options的使用，现在看起来支持从.zarr、.tdb、.orc、.txt、.parquet和.csv格式进行远程读取。对吗？如果是这样，是否有任何建议的解决方法来访问远程.tiff文件？
浏览 18提问于2019-10-17得票数 2
回答已采纳
我无法使用python-Dask在大型数据集上进行计算。我的电脑死机了。 我有一台内存为4 4GB，运行Linux Debian的电脑。我正在尝试加载来自Kaggle竞赛(ElO商业竞赛)的一些文件，当我尝试加载并获得dask数据帧的形状时，计算机崩溃了。 我只在我的笔记本电脑上运行代码。我选择dask是因为它可以处理大型数据集。我还想知道Dask是否能够将计算移动到我的硬盘上，如果它在内存中放不下？如果是这样，我需要激活这样的东西或dask自动做它吗？如果我需要手动操作，我该如何操作？如果有关于这方面的教程，那就更好了。 我的硬盘是250 as的固态硬盘。因此，将有足够的空间来容纳大型数据
浏览 15提问于2018-12-25得票数 0
我想尝试使用uproot将一些具有平面根NTupels的根文件读取到桌面框架中。214个文件，每个500kb，大约8000行，每个文件16列/变量。它们很容易放入内存中的熊猫数据框中，但我正在尝试学习dask (和uproot，以前只使用过root_pandas )，因为我预计未来会有更大的数据集。
因此，我认为uproot.daskframes(list_of_paths, flatten=True)应该是将文件读入桌面框架的工具。创建框架很好，但在以下Too many open files错误中计算它：。当我将文件限制为例如100，它的计算工作，但很慢(30秒)，对少数文件，它是没有问题的
浏览 31提问于2020-02-12得票数 1
1回答
我正在使用as_pandas实用程序从impala.util读取从hive获取的dataframe格式的数据。但是，使用熊猫，我想我将无法处理大量的数据，而且速度也会变慢。我一直在阅读dask，它为读取大数据文件提供了极好的功能。我如何使用它有效地从蜂巢中获取数据。
def as_dask(cursor):
"""Return a DataFrame out of an impyla cursor.
This will pull the entire result set into memory. For richer pandas-
like functional
浏览 2提问于2018-10-18得票数 2
回答已采纳
1回答
我正在尝试按照docs here为工作人员设置资源，但设置使用的是Dask Gateway。具体地说，我希望能够遵循this question的答案，但使用的是Dask Gateway。 我在ClusterConfig options中找不到对worker资源的引用，我尝试了以下(as per this answer)，但似乎不起作用： def set_resources(dask_worker):
dask_worker.set_resources(task_limit=1)
return dask_worker.available_resources, dask_work
浏览 9提问于2021-09-23得票数 5
我是dask的新手，正在尝试弄清楚如何重塑从dask数据帧的单个列中获得的dask数组，但遇到了错误。想知道有没有人知道这个修复方法(不需要强行计算)？谢谢!
示例：
import pandas as pd
import numpy as np
from dask import dataframe as dd, array as da
df = pd.DataFrame({'x': [1, 2, 3], 'y': [4, 5, 6]})
ddf = dd.from_pandas(df, npartitions=2)
# This does not work -
浏览 22提问于2018-09-07得票数 2
回答已采纳
2回答
从客户端获取调度程序地址
、、、、
我正在使用dask部署在我的HPC上。我想获得调度器地址，以便与另一个库一起使用。对于LocalCluster (或任何其他显式集群定义)来说，这很简单，例如：
from dask.distributed import Client, LocalCluster
cluster = LocalCluster()
client = Client(cluster)
address = cluster.scheduler_address
但是dask-mpi是在没有集群对象的情况下初始化的：
from dask.distributed import Client
from dask_mpi imp
浏览 6提问于2022-04-05得票数 1
回答已采纳
1回答
我在Windows 10上的Anaconda中；我通过以下方式安装： conda install -c anaconda dask
conda install -c conda-forge modin
conda update conda
conda update anaconda
conda update dask
conda install -c conda-forge pandas=1.0.5 # this will also download modin 0.7.4-py_0 --> 0.8.0-py_0 因此，考虑以下示例： #!/usr/bin/env python3
浏览 20提问于2020-10-26得票数 0
回答已采纳
我正在尝试将一个自适应的dask kubernetes集群部署到我的aws K8s实例(我想使用中的kubeControl接口)。我不清楚我在哪里以及如何执行这段代码，以便它在我现有的集群上是活动的。除此之外，我还希望有一个入口规则，以便我拥有的另一个ec2实例可以连接到集群并在aws VPC中执行代码，以维护安全性和网络性能。
到目前为止，我已经成功地运行了一个功能强大的k8s集群，并在其上运行了dask和jupyterhub。话虽如此，我可以使用公开的AWS dns服务器从我的另一个ec2实例连接到这个集群，并执行自定义代码，但这不是kubernetes原生dask集群。
我已经为kube
浏览 1提问于2019-09-20得票数 1
我刚刚开始使用dask，我仍然对如何使用多个线程或使用集群来执行简单的熊猫任务感到困惑。
让我们以pandas.merge()和dask数据格式为例。
import dask.dataframe as dd
df1 = dd.read_csv("file1.csv")
df2 = dd.read_csv("file2.csv")
df3 = dd.merge(df1, df2)
现在，假设我在我的笔记本电脑上运行这个，它有4个核心。如何为此任务分配4个线程？
这样做的正确方法似乎是：
dask.set_options(get=dask.threaded.ge
浏览 4提问于2016-10-14得票数 6
回答已采纳
import dask.dataframe as dd
df=dd.read_csv('http://www.example.data')
错误：
ValueError:未知协议http
注： http_proxy和https_proxy都已设置
python版本： 3.6.1
dask 版本： 0.14.3
浏览 0提问于2018-08-17得票数 0
1回答
我正在使用Dask对我从here下载的数据进行均值计算。当我开始动手的时候，在Dask上，我把csv文件转换成了hdf5。 我使用的配置是: Dask 2.19版本，Python3.8，Pandas 1.0.5和h5py 2.10.0。 import dask.dataframe as dd
df_csv = dd.read_csv("2018_Yellow_Taxi_Trip_Data.csv", dtype={'DOLocationID': 'float64',
'PULocationID': 'flo
浏览 42提问于2020-06-21得票数 1
1回答
我已经使用conda安装了dask。当我创建延迟函数并使用dask在我的PBS集群上运行它们时，如何确保工作节点在运行延迟函数之前激活相同的conda环境？
浏览 0提问于2020-11-11得票数 2
在jupyter notebook中使用dask时，我发现它有奇怪的行为。因此，我启动了一个本地客户端，并为其提供了一个要执行的作业列表。我的真实代码有点复杂，所以我在这里给你举一个简单的例子：
from dask.distributed import Client
def inc(x):
return x + 1
if __name__ == '__main__':
c = Client()
futures = [c.submit(inc, i) for i in range(1,10)]
result = c.gather(futures)
print(len
浏览 1提问于2017-09-12得票数 3
我完全被困住了，所以我正在寻求善意的建议。我的目标是并行读取多个hdf5文件，提取内部的多个模糊数组，并将每个数组存储在一个dataframe的一行，准确地说是一个单元格中。我不选择熊猫df，因为我相信它会太大。
不可能使用read_hdf()从用h5py创建的hdf5文件中读取。我能做些什么来用paralleL中的dask导入数千个hdf5 5文件，并访问其中的多个do数组？我想要创建一个dataframe，其中每个2d数组(从hdfs中的n个暗数组中提取)都存储在dataframe的一个单元格中。因此，行数对应于在所有文件中找到的总数组数，在这里9。我将数组存储在一个列中。在将来我希望将更
浏览 0提问于2021-09-30得票数 1
回答已采纳
我尝试在Dask数据帧的多个分区上运行一个函数。该代码需要解压元组，并且可以很好地与Pandas一起工作，但不能与Dask map_partitions一起工作。数据对应于元组列表，其中列表的长度可以变化，但元组始终具有已知的固定长度。
import dask.dataframe as dd
import pandas as pd
def func(df):
for index, row in df.iterrows():
tuples = row['A']
for t in tuples:
x, y = t
浏览 27提问于2021-02-24得票数 1
回答已采纳
1回答
试图在AWS中使用dask.dataframe。但是，尽管将dask.dataframe捆绑作为包的一部分，我还是反复地看到了这个错误：
ImportError:未安装dataframe要求。
请按以下方式安装conda或pip：
conda安装dask #要么conda安装
python -m pip安装"daskdataframe“--升级#或python -m pip安装
试过以下几点：
捆绑完成并将其上传为aws lambda层
捆绑daskdataframe并将其上传为aws lambda层
捆绑代码和依赖项并放置在s3桶中
python版本3.8
浏览 4提问于2022-05-26得票数 0
我正在尝试获取一个dask数据帧，按列'A‘分组，并删除行数少于MIN_SAMPLE_COUNT的组。 例如，下面的代码可以在pandas中运行： import pandas as pd
import dask as da
MIN_SAMPLE_COUNT = 1
x = pd.DataFrame([[1,2,3], [1,5,6], [2,8,9], [1,3,5]])
x.columns = ['A', 'B', 'C']
grouped = x.groupby('A')
x = grouped.filter(
浏览 15提问于2019-03-22得票数 2
回答已采纳
1回答
我如何指示dask使用分布式Client作为调度程序，从代码中从外部使用，例如通过一个环境变量？
其动机是利用dask的一个关键特性，即从单一机器到分布式集群的透明性。然而，似乎有一件小事掩盖了这种透明度--需要通过代码注册Client。
我可以通过配置(file/env )将命名的调度程序(例如“同步”和“进程”)设置为，但是如何使用与分布式机制相同的机制呢？
理想情况下，我希望设置如下内容：
DASK_SCHEDULER=distributed(scheduler_file=...)
作为一个环境变量，它相当于在client = Client(scheduler_file=...) pyt
浏览 1提问于2019-04-17得票数 0
1回答
如何读取数据并删除坏行
、、、、
我试图使用dask聚合一个包含多行坏数据的大型(66 of )数据库。
由于dask没有删除坏行的功能，所以我第一次将所有数据作为熊猫数据读取，并删除坏行。然后，我将此转换为dask数据帧。我的代码如下：
导入dask.dataframe作为dd从dask.distributed导入客户端导入熊猫
#Groups the average Thresholds by NEATGeneration and finds the mean, standard deviation, minimum and maximum of the data
def group(df):
res = df.g
浏览 2提问于2020-02-21得票数 1
1回答
我试图使用dask(异步)框架来执行一个简单的任务(一个实例方法)，但是它在序列化错误时失败了。
谁能给我指明正确的方向。
下面是我正在运行的代码：
from dask.distributed import Client, as_completed
import time
class DaskConnect:
def __init__(self):
print("Initialized:",self.__class__.__name__)
self.scheduler_host="192.168.0.4"
self.scheduler
浏览 1提问于2017-08-31得票数 4
当使用Python Pandas读取CSV时，可以指定索引列。是否可以在读取文件时使用Python Dask，而不是在之后设置索引？
例如，使用pandas：
df = pandas.read_csv(filename, index_col=0)
理想情况下，使用dask可能是：
df = dask.dataframe.read_csv(filename, index_col=0)
我试过了
df = dask.dataframe.read_csv(filename).set_index(?)
但是索引列没有名称(这似乎很慢)。
浏览 1提问于2017-09-12得票数 10
在启动dask-worker时，我需要显式地设置发布到调度器的保姆地址，但我不知道如何做到这一点。有人知道吗？ 我正在尝试做什么:我在Ubuntu VM (WSL2/Windows10)中运行dask-worker，它(通过Hyper-V)为以太网适配器分配一个虚拟网络地址。这意味着从工作器到调度器的任何发布的TCP地址都需要是外部主机IP，而VM内的任何端口绑定都必须针对虚拟网络地址。 下面是我的命令行： dask-worker --dashboard --nthreads=1 --nprocs=1 --memory-limit=2GB --name=workstation1 --list
浏览 7提问于2020-08-04得票数 2
2回答
我有一个Dask DataFrame，构造如下：
import dask.dataframe as dd
df = dd.read_csv('matrix.txt', header=None)
type(df) //dask.dataframe.core.DataFrame
有没有办法将这个DataFrame保存为一个泡菜？
例如,
df.to_pickle('matrix.pkl')
浏览 9提问于2018-01-30得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
