我有一个Tensorflow模型，我想在我的Dask Dataframe上运行(而不是训练)。我使用的是map_partitions。但是，当我查看仪表板以检查进度时，它只为所有工作运行了一个任务。我希望它能并发地处理分区。我做错了什么？feed_dict=inputs_feed_dict)函数encode_factory接受Tensorflowembedded_docs.append(str(doc_emb
浏览 18提问于2020-02-12得票数 0
我正在尝试对跨工人的大型文件执行一个基本的ETL工作流，使用dask-cudf跨大量工人。工作人员获得的分区的最小数目是4，而它得到的最大分区是19 (total partitions = apprx. 300，num_workers = 22) --这种行为会在下游引发问题，因为我希望在工作人员之间分配相同的分区})正在执行的工作流程：
浏览 2提问于2019-10-04得票数 1
2回答
想象一下，我有一个来自Dask DataFrame的read_csv，或者创建了另一种方式。reset_index在每个分区中构建一个单调上升的索引。这意味着(0,1,2,3,4,5，.)对于分区1，(0,1,2,3,4,5，.)对于分区2，(0,1,2,3,4,5，.)用于分区3等等。我希望为dataframe中的每一行(跨所有分区)建立唯一的索引。
浏览 0提问于2019-06-06得票数 6
回答已采纳
有时，使用dask.dataframe.map_partitions进行合并之类的操作很有吸引力。在某些情况下，当使用map_partitions在left_df和right_df之间进行合并时，我希望在执行合并之前先预缓存right_df，以减少网络开销/本地混洗。感觉这个right_df应该能够读入内存，并持久/分散到所有工作者/分区预合并，以减少跨分区通信的需要，直到最后。我如何分散right_df才能成功做到这一点？下面是使用cuDF和Das
浏览 0提问于2019-07-30得票数 2
1回答
dask版本1.1.4过滤后的dask.dataframe似乎将行保留在原始分区中。如果一个分区的所有行都被过滤掉，那么分区将保持为空，但仍保留在生成的dask.dataframe中。如果len(第一个分区)<n，那么head(n)就不会往外看，并错过行。import dask
import dask.dataframe as dd
浏览 0提问于2019-07-03得票数 1
回答已采纳
2 # df.sort_values(columns, ascending=True)
试用解决方案
这是df.sort_values(columns, ascending=False).head(n)pandas官方dask文档中的一个例子--只有pandas -- DAS
浏览 5提问于2021-01-27得票数 2
回答已采纳
下面是我的例子：import pandas as pdimport我也不清楚如何向map_partitions中的函数传递额外的参数
-------------------------------------------------------------------\site-packages\dask\dataframe\core.py in map_partition
浏览 0提问于2017-11-06得票数 8
回答已采纳
1回答
提高运行大文件的性能
、、、
= pd.concat(df_list)
del df_list我尝试过使用daskimport dask.dataframe as ddf
df_cols = df_cols.iloc[:,np.r_[1:3,8,12,23
浏览 13提问于2020-05-18得票数 3
随着我的数据集越来越大(因此分区的数量和大小也越来越大)，我的分布式Dask集群中的工作人员最终会因为彼此之间的连接超时而失败。堆栈跟踪不包括对我的代码的任何引用(而是我的venv中的Dask )，但我确实怀疑我在Dask中所做的事情导致了这个问题。早期的任务，自定义延迟和DataFrame函数都已成功完成。通过对数据进行分区，使分组数据包含在每个分区中(不应该需要洗牌)，我已经解决了数据洗牌引起的内存不足问题。我已经确认，没有看到任何洗牌任务运行在仪表板上。尽管记录的堆栈跟踪仍然显示一
浏览 3提问于2021-09-30得票数 1
回答已采纳
我想知道如何在调用map_partitions而不是pd.Dataframe时返回dask Dataframe，以避免内存问题。-------------------2 Max pet_24 Oscar pet_4def get_pets_appointments(df):
<e
浏览 2提问于2020-12-01得票数 0
假设有X分区的dask数据帧。假设熊猫的数据有相同的X行数。熊猫数据中的每一行都包含与dataframe的每个分区相关的数据。我想将每个熊猫df行分配给一个新的 dataframe分区列import daskddf = dask.datasets.timeseries()
df0 = pd.DataF
浏览 3提问于2019-10-16得票数 0
with dask.config.set(num_workers=2): read_text(files)
map(map_page_entities)
pluck(0).\ m
浏览 0提问于2018-12-09得票数 0
回答已采纳
2回答
我正在使用python 3和dask来读取拼图文件的列表，做一些处理，然后将它们全部放入一个新的联合拼图文件中供以后使用。我正在使用下面的代码 import dask.dataframe as dd ddf["file"] = pathwith ProgressBar():
data = b.map</em
浏览 107提问于2019-08-04得票数 2
长版import dask.bag as dbbag = db.from_sequence(list_of_files).map(my_reader_function)
df = bag.<em
浏览 10提问于2019-12-13得票数 3
回答已采纳
我不知道如何在files_per_partitions中解释dask.bag.read_text关键字。
import dask.bag as db
from dask.d
浏览 3提问于2021-09-03得票数 1
/learn_io/__init__.py", line 26, in <module> File "/usr/local/lib/python3.5/dist-packages/tensorflow/contrib/
浏览 0提问于2018-12-02得票数 0
回答已采纳
, 'desc', 'entries', 'exits']
下面是可以工作但不能转换字符串的dask_170107.txt' for i in data:import daskimport dask</em
浏览 3提问于2017-05-06得票数 2
回答已采纳
我需要计算许多NumPy数组(最多可以是4维的)，一个Dask数据帧的每个分区一个，然后将它们作为数组添加。但是，我正在努力让map_partitions为每个分区返回一个数组，而不是为所有分区返回一个数组。import dask.dataframe as dd
#
浏览 0提问于2021-03-04得票数 0
我正在尝试过滤一个Dask DataFrame，然后使用map_partitions对每个分区应用一个函数。该功能预计熊猫DataFrame至少有一排。现在，我使用上面store_id的列表过滤Dask数据我再次打印过滤后的ddf的分区。Dask Name: repartition, 47 tasks
我预期这个重新分区操作只会导致大小均匀的非空
浏览 1提问于2020-05-08得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
