read_parquet任务中的TypeError

文章/答案/技术大牛

发布

1回答

python、pandas、dask、parquet

我有一个名为data.parquet的拼图文件。我使用的是Python中的库dask。当我运行这条线时 import dask.dataframe as dd ~/anaconda3/lib/python

浏览 13提问于2020-10-14得票数 0

2回答

Dask -可能将dask_key_name分配给dask数据访问任务吗？

dask、dask-distributed、dask-delayed

在调试问题的过程中，我发现很难准确地解释哪些任务会导致问题。我在延迟任务中成功地使用了'dask_key_name‘kwarg，为这些延迟任务的键分配了一个人类可读的名称(基于这里的文档：)。我曾经尝试过这样做，希望它能为read_parquet任务做同样的事情，但它似乎仍然使用散列值来创建键(例如，read_parquet 5)。item_to_rea

浏览 4提问于2019-11-25得票数 1

回答已采纳

1回答

awswrangler.s3.read_parquet忽略partition_filter参数

python、amazon-web-services、amazon-s3、aws-data-wrangler

partition_filter参数在wr.s3.read_parquet()中未能过滤S3上已分区的parquet数据集。下面是一个可重复的示例(可能需要正确配置的boto3_session参数)：import pandas as pdimport boto3这是来自的 partition_filter (可选的[可调用的[[Dictstr，str]，bool])-回调函数过滤器应用于分区列(下推过

浏览 9提问于2021-04-06得票数 2

回答已采纳

1回答

Python和Dask -读取和连接多个文件

python、dask、dask-delayed

下面是这些文件的一些示例：A,BFalse,False A,CFalse,True我想要做的是以最快的方式读取和连接这些文件)解压缩：from dask.distributed import Client results = [dd.

浏览 4提问于2020-04-23得票数 1

回答已采纳

2回答

如何在不使用火花包的情况下读取R中的拼花文件？

r、parquet

我可以在网上找到很多答案，可以使用sparklyr或者使用不同的星火包，这实际上需要旋转一个星火集群，这是一种开销。在python中，我可以使用python中的"pandas.read_parquet“或Apache箭头找到一种方法来做到这一点--我正在寻找类似的东西。

浏览 0提问于2018-05-10得票数 15

回答已采纳

1回答

无法阅读Azure木星笔记本中的".parquet“文件(Python2和3)

python、azure、jupyter-notebook、azure-machine-learning-studio、azure-machine-learning-workbench

pandas.read_parquet(filePath_parquet, engine='pyarrow') 非常感谢您的回复，彼得潘！我已经输入了这些声明，下面是我得到的： print(pandas.__dict__)2.在环境/home/nbuser&#x

浏览 2提问于2018-12-20得票数 2

回答已采纳

1回答

如何巧妙地绘制dask数据帧的交互式绘图

python、plot、plotly、dask、dask-dataframe

整个dask数据文件中的raws总数为4亿raws。我想用巧妙的方法把所有的工作框架都画成一个情节。我怎样才能做到这一点呢？最终的结果是一个全面的绘图的数据，如果我想解释一个特定的区域的数据，我可以放大和平移。我的数据大小约为3.5GB，它们不会在内存中使用。

浏览 3提问于2022-06-11得票数 1

2回答

根据R中另一个变量的值命名变量或对象

我从一个目录中读取数据文件，其中我不知道文件的编号或名称。每个文件都是一个数据帧(作为拼花文件)。我能读到那些文件。但是如何命名结果呢？file_names = ['A.parquet', 'B.parquet'] data = pd.read_parquet(fn)

浏览 3提问于2022-06-29得票数 -1

回答已采纳

1回答

尝试在dask.read_parquet中筛选，尝试比较NoneType和str

python、dask、parquet

我有一个项目，我将下面的load_args传递给read_parquet根据，这样的List[Tuple]应该被接受，我应该得到与谓词匹配的所有分区(或者等效地，过滤掉那些不匹配的分区)。│ ╰─────────────────────────────────────────────

浏览 14提问于2022-11-17得票数 0

4回答

用apache箭头在一个R数据文件中读取分区的parquet目录(所有文件)

r、rstudio、parquet、apache-arrow

如何使用箭头(没有任何火花)将已分区的拼花文件读入R中用火花管创建了拼花文件，并保存在S3上，用RStudio/RShiny读取，其中有一列作为索引，以进一步分析从我的火花中创建的拼花文件由几个部分组成IOError: Cannot open for reading: path 'component_mapping.parquet' is a directoryinstall.

浏览 20提问于2019-10-17得票数 15

回答已采纳

1回答

错误:无效:使用箭头包从url加载parquet文件时，URI中的文件系统类型无法识别

r、parquet、apache-arrow

我对拼图文件格式非常陌生，我正在使用read_parquet() (在arrow包中)将拼图文件(存储在我的Dropbox共享文件夹中)加载到R中。然而，我收到了以下错误消息 library(arrow) df <- read_parquet("https://www.dropbox.com/s/mysgf4sojpjgyp7/part-394

浏览 5提问于2021-04-24得票数 1

回答已采纳

1回答

Dask分布式执行计算而不返回数据

dask、dask-distributed

在从Gcloud存储加载文件期间，集群内存的使用量正在增加到3-4GB左右。然后工人(每个工作人员有2GB的RAM)被终止/重新启动，一些任务丢失，所以集群开始在一个圆圈中计算相同的东西。我删除了apply()操作，只让read_parquet()测试我的自定义代码是否会造成问题，但问题是一样的，即使只对单个read_parquet()操作也是如此。，以避免集群中的gcsfs身份验证问题经过一些调查后，我

浏览 1提问于2018-10-07得票数 0

回答已采纳

1回答

如何在读取Dask时按datetime列过滤Parquet文件？

dataframe、filter、dask、parquet、pyarrow

我想过滤一个Parquet文件，同时阅读它与达斯克，但我没有设法得到正确的，并不断得到相同的错误。TypeError: '>=' not supported between instances of 'Timestamp' and 'str'ddf = dd.read_parquet也许我需要提供dtype参数，如果是这样的话，如何告诉read_parquet()方法'DATE_COL‘是一个datetime列

浏览 0提问于2021-07-30得票数 0

3回答

Javascript:存储访问Unicode时无效的unicode转义序列

javascript、unicode

我正在SELECT框中设置SELECT图标代码，并访问change事件。

浏览 14提问于2016-09-03得票数 6

回答已采纳

2回答

是否有一种向后遍历dask数据的方法？

python、pandas、dask、parquet、dask-dataframe

我想要read_parquet，但是从起点(假设一个排序的索引)向后读。我不想把整块地板读入记忆中，因为这样做完全违背了使用它的意义。有什么好办法吗？

浏览 8提问于2022-06-23得票数 4

1回答

Dask的性能与数据处理

dask

我已经进口了一份大约的拼花文件。800 50~5000万行进入dask数据帧。有5列：DATE, TICKER, COUNTRY, RETURN, GICS 将dask.dataframe导入为dd dd.read_parquet('.\abc.gzip') df‘’INDUSTRY‘= df.GICS.str0:4 n= df.INDUSTR

浏览 0提问于2018-12-12得票数 1

2回答

将Paramiko连接SFTPFile作为输入传递给dask.dataframe.read_parquet

python、sftp、paramiko、dask、parquet

但是当我用Dask尝试同样的方法时，它抛出了一个错误。下面是我试图运行的代码和我得到的错误。我怎么才能让它工作呢？AppData\Local\Programs\Python\Python37\lib\site-packages\dask\dataframe\io\parquet.py", line 1173, in read_parquetPrograms\Python\Python37\lib\site-packages\dask\bytes\core.py", line 368, in get_fs

浏览 2提问于2019-06-24得票数 1

1回答

如何取消和重新提交停滞的任务？

python-3.x、dask、dask-distributed、dask-delayed、fastparquet

它将无限期挂在下面所示的表单中(否则，这个循环需要几秒钟的时间完成)：在这种情况下，我看到只有少数停滞的进程，它们都位于一个特定的节点上(192.168.0.228)：此节点上的每个工作人员在几个read_parquet任务上都处于停滞状态：这是使用以下代码调用的，并且使用的是快速拼花： ddf = dd.read_parquet(file_path, columns=['c

浏览 4提问于2019-11-13得票数 3

回答已采纳

1回答

熊猫在Azure数据库中缺少read_parquet功能

python、pandas、azure、databricks、azure-databricks

当我使用熊猫在databricks笔记本中读取拼花文件时，会发生以下错误: AttributeError:模块“熊猫”没有属性“read _ parquet”。试着在我的集群上安装最新版本的熊猫，但仍然没有改变。知道怎么修吗？

浏览 2提问于2019-11-21得票数 1

回答已采纳

1回答

从URL (Dropbox文件夹)将多个地块文件加载到R中

r、url、parquet、downloadfile

我正在尝试从我的Dropbox文件夹的URL加载多个拼图文件(我没有将这些文件设置为本地文件，只是为了节省我的计算机内存)。我使用了以下代码，但它不返回任何内容。 dl=1", pattern = "*.parquet", full.names = T) tbl <- sapply(files, read_parquet, simplify=FALSE) %>%我使用windows机器来完成这项任务(我需要将mode设置为"wb"吗？)但如

浏览 18提问于2021-04-25得票数 1

回答已采纳

点击加载更多