在将Dask dataframe分区写入parquet时，我注意到reading_parquet在冲突的元数据/模式上失败。这是因为在一些分区中，列完全为空/ np.nan，而在另一些分区中，它们是用值填充的。在此之前，我已经转换了我的分区的数据类型： df = df.astype(dtypes) PyArrow无法读取我的分区拼图文件，因为只有null的列被重新分配了数据类型'null‘。一些分
浏览 19提问于2019-09-17得票数 0
回答已采纳
当我使用带有pyarrow 0.11.1的dask=1.2.2时，我没有观察到这个行为。在更新(dask=2.10.1和pyarrow=0.15.1)之后，当我使用带有给定的partition_on和write_index参数的to_parquet方法时，我无法保存索引。(path / file_name,
浏览 9提问于2020-02-05得票数 2
2回答
我想通过文件重新分区将所有这些文件合并到最佳数量的文件中。我使用pandas和pyarrow从目录中读取每个分区文件，并将所有数据帧连接在一起，并将其作为一个文件写入。然后，我使用dask to_parquet，append功能将新文件添加到该拼图文件夹中。 temp_combine_df.repartition(partition_
浏览 11提问于2020-05-22得票数 1
我想从Dask dataframe中保存多个拼图文件，一个拼图文件用于特定列中的所有唯一值。因此，拼图文件的数量应该等于该列中唯一值的数量。例如，给定以下数据帧，我想保存四个拼图文件，因为在列"A“中有四个唯一的值。import pandas as pd {
"A": [1, 1, 2,dd.from_pandas(df, npartitions=
浏览 5提问于2021-04-09得票数 1
我有一个dask进程，它在每个dataframe分区上运行一个函数。我让to_parquet执行运行函数的compute()。
ddf.to_parquet('/some/folder/data', engine='pyarrow
浏览 12提问于2022-03-16得票数 2
回答已采纳
1回答
当我使用Pandas和Dask将同一张表保存到拼图中时，Pandas创建了一个4k文件，其中Dask创建了一个39M文件。创建数据帧 import pandas as pdimport pyarrow.parquet as pqpq.write_table(pa.Table.from_pandas(df), 'example-pyarrow.parquet')
#
浏览 12提问于2021-08-06得票数 3
回答已采纳
下面的Dask代码尝试将数据存储在拼板中，再读取一次，添加一列，并在添加的列中再次存储数据。这是代码：import dask.dataframe as dd
'height': [6.21, 5.12, 126, 133]ddf.to_parquet('C:\\temp\\test3', engin
浏览 2提问于2022-03-27得票数 1
回答已采纳
我有一个数据帧，它有一个名为key的列，值的范围从00到FF (以字符串形式)。理想情况下，我会将数据帧编写为每个key值一个或多个文件。也就是说，我不希望一个分区有多个可能的key值。我目前的方法不起作用，因为它只生成一个文件： import dask.dataframe as dd
"/Users/ecerulm/Downloads/output.parquet') 有没有办法确保分区在一个列上被“干净地”
浏览 20提问于2020-11-09得票数 1
当我在partition_on ()中向dask_dataframe.to_parquet变量提供列列表时，它按照提供的列的顺序创建了类似目录的结构，更像是嵌套结构。然而，parquet的实际文档表明它是一个列存储数据结构，如果我们向它提供了一个列列表，那么它将根据这些列创建一个分区:e指定列的所有行(如果不提供行大小)都在一个分区中。达斯克to_parquet这样做对吗？
浏览 1提问于2019-12-03得票数 0
回答已采纳
熊猫没有对任何这些文件进行分区。在内存中，这些拼花文件中的每一个都加载了大约20 In的内存。预期的目标机器只有16 GB，即使在11年中只加载1列也需要10 GB，因此两列也不适合。例如，使用Dask来(i)将它们连接起来，(ii)将它们重新划分到一定数量的分区，这样Dask一次就可以处理2列而不会炸掉内存？我尝试了后一种解决方案，并做到了：df = dd.read_parque
浏览 29提问于2022-06-20得票数 1
我有一个用pandas/pyarrow编写的分区气象站读数目录。c.to_parquet(path=f"data/{filename}.parquet", engine='pyarrow', compression='snappy', partition_cols=engine.read_metadata( 318 paths,
/usr/local/lib/
浏览 73提问于2021-08-13得票数 1
我有数千个csv文件，这些文件，使用dask，我已经重新划分和转换为地板使用达克。所以，我有一个有100个分区的拼花文件，但是现在我想读取这个拼花文件，并写出一个每个符号的拼花文件(股票数据)。此外，UnderlyingSymbol列中有4702个唯一符号。')
~/miniconda3/envs/ds2/lib/python3.9/site-packages/dask/dataframe/core.py in t
浏览 16提问于2021-08-20得票数 0
回答已采纳
我正在使用spark将其保存到镶木面板上，然后尝试通过dask阅读。问题是未使用pyarrow引擎回读已分区的列。#write to parquet df2 = dd.read_parquet(&
浏览 0提问于2018-05-24得票数 1
1回答
我使用dask 2.9.1当我从多个文件加载数据时，我不会得到结果dask数据文件中的偏差。48, "H")
df2 = df[24:].sort_index()dd.from_pandas( df2,
浏览 1提问于2020-01-02得票数 1
回答已采纳
3回答
以下操作工作正常，但耗时近2h：ddf.read_csv('data.csv').to_parquet('data.pq')
有办法并行化吗文件data.csv是~2G未压缩，有1600万行22列。
浏览 1提问于2018-05-24得票数 4
回答已采纳
data.parquetdataset/field1=B/field2=Y/data.parquetimport dask.dataframe as dd
在这里，field1和field2是我的datafra
浏览 6提问于2022-07-06得票数 1
回答已采纳
我使用熊猫来使用带分区的to_parquet函数编写一个拼花文件。它在分区中添加了一个新的parquet文件，当您读取数据时，每次运行脚本时都会得到所有数据。从本质上说，数据每次都会追加。
有没有办法在每次你用熊猫写的时候覆盖这些数据？
浏览 19提问于2022-02-17得票数 3
2回答
tl;drdata.loc[data[column].lt(value)].to_parquet(path)
data = dd.read_parque
浏览 4提问于2021-03-22得票数 1
回答已采纳
我指的是这个问题-- dask dataframe read parquet schema difference 但是Dask返回的元数据并不表示不同数据帧之间的任何差异。最多有100个数据帧，有717列(每个数据帧大小约为100MB)。try:
df = dd.read_parquet(data_filenames, columns=list(cols_to_retrieve), engine='pyarrow')我将此添加到数据帧的创建中(使用pandas to_parque
浏览 21提问于2019-01-09得票数 0
有没有办法从pandas DF生成这种格式的pyarrow模式？我有一些有数百列的文件，所以我不能手动把它打出来。), ]
我想把它保存在一个文件中，然后在用to_parquet但是，我知道我可能会遇到分区中完全为空的列或混合数据类型的对象列的问题。
浏览 0提问于2020-03-17得票数 2
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
