保存到拼图会在Dask.dataframe中抛出错误

文章/答案/技术大牛

发布

1回答

python-3.x、dask、dask-dataframe

在执行以下操作时：Dask.dataframe.to_parquet(data)，如果通过Dask读取具有给定分区数量的data，并且您在移除一些列后尝试将其保存为parquet格式，则会失败，并显示以下错误下面是一个最小的例子--请注意，方法1按预期工作，而方法2则不是： import numpy as npimport dask.dataframe as dd

浏览 19提问于2021-03-25得票数 1

回答已采纳

1回答

如何使用dask dataframes中的pyarrow将自定义类序列化为结构？

python、parquet、dask、pyarrow

我想将这个数据帧保存到拼图文件中。Dask使用pyarrow作为后端，但它只支持原始类型。import pandas as pd result.to_parquet('my_parquet.parquet') 因此，当我试图保存它时，我得到了这个错误

浏览 28提问于2019-01-11得票数 3

1回答

在不更改列名的情况下创建PySpark数据框

apache-spark、pyspark、apache-spark-sql、databricks

但是，下面的data frame仅使用lowercase中的所有列名创建。而预期的结果是在camel case中，就像我在上面对CTAS所做的那样。

浏览 12提问于2019-12-23得票数 1

回答已采纳

1回答

jupyter中的read_parquet抛出“无效的拼图文件.损坏的页脚”错误

python、jupyter、parquet

我在jupyter笔记本中加载了一个来自AWS S3的最新更新的拼图文件。每次更新拼图文件中的数据后，我都会得到一个“无效的拼图文件。损坏的页脚”。错误。每次更新拼图文件后，都会显示错误。pd.read_parquet(location, engine = 'pyarrow')我希望在不需要重启内核的情况下，获得包含更新后的拼图文件的更新数据的更新日期帧jupyter<e

浏览 53提问于2019-07-24得票数 0

1回答

使用pandas从到拼图的写入

python、pandas、parquet

试着把它转换成拼图然后加载到hfds服务器上。sba.to_parquet('sba.parquet.gzip', compression = 'gzip', partition_cols= 'State') 但得到的错误是

浏览 0提问于2021-04-10得票数 1

1回答

保存到拼图文件中，但出现错误

python、parquet

我正在尝试将数据帧保存到拼图文件中。tm.to_parquet('tm.parquet') 然而，我得到了以下错误，有什么方法可以修复这个错误吗？

浏览 0提问于2021-07-15得票数 0

1回答

删除spark-structured-streaming写入的损坏拼接文件时会丢失数据吗？

scala、apache-kafka、parquet、spark-structured-streaming

kafka获取数据，按照指南参考https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html 然后将数据保存到hdfs作为拼图文件。它将导致错误，如不是拼图文件(长度太小: 4)或[.parquet不是拼图文件。期望的幻数在尾部80，65，82，49，但在读取它们时发现56，52，53，51]。我必须将它们移动到其他目录，并确保hive中的

浏览 20提问于2019-05-25得票数 0

2回答

如何在读取拼图文件时检查损坏的文件？

parquet

>中的其他文件，但我还找不到它。有没有什么好的解决方案呢？谢谢。

浏览 0提问于2019-05-16得票数 1

1回答

PySpark:无法写入结构(DF ->拼接)

json、apache-spark、pyspark、user-defined-functions

我有一个数据预处理管道，我从成千上万的tweet中清理数据。我想分阶段保存我的数据帧，这样我就可以从我的流水线的后续阶段加载这些“保存点”。我读到过将数据帧保存为拼图格式是最“有效”的编写方法，因为它快速，可伸缩等，这对我来说是理想的，因为我正在努力保持这个项目的可扩展性。然而，我遇到了一个问题，我似乎无法将包含结构的字段保存到文件中。当我尝试输出我的数据帧时，我收到了一个JSON错误json.decoder.JSONDecodeError: Expecting ',' delimi

浏览 3提问于2020-04-21得票数 2

1回答

Spark Scala中因超出内存限制而被纱线杀死的容器

scala、apache-spark

我在使用Spark-submit命令运行我的Spark Scala代码时遇到了下面的错误。错误cluster.YarnClusterScheduler: XXXX上丢失的executor 14 :容器因超出内存限制而被YARN杀死。已使用55 GB物理内存中的55.6 GB。抛出错误的行号代码如下...我正在写一个拼图文件....它一直工作到昨天，不能确定从最后

浏览 0提问于2021-03-16得票数 0

1回答

dask DataFrame查询然后示例错误

python、parquet、dask

下面是伪代码：df = df.sample(float(10000) / max(10000, len(df)))但是，它失败了，出现以下错误

浏览 0提问于2017-04-24得票数 2

1回答

无法转换dataframe列数据类型

python、pandas、type-conversion、dask、data-conversion

在使用Pandas/Dask处理大数据集之后，我将结果数据帧保存到csv文件中。# ATTEMPT 1 # A

浏览 0提问于2018-09-19得票数 4

回答已采纳

1回答

使用dask.bag和pandas.DataFrame将字典的dask.delayed转换为dask.dataframe

dask、dask-delayed

为了进一步分析，我想将所有数据文件附加到一个dask.dataframe中。到目前为止，我一直在使用dask.delayed对象来加载、转换和附加所有工作正常的数据(参见下面的示例)。但是，对于以后的工作，我想使用dask.bag将加载的字典存储在dask.persist()中。我成功地将数据加载到dask.bag中，生成了一个在调用compute()之后可以在本地使用的dicts列表或pandas.DataFrame列表。然而，当我尝试使用dask.bag将dask.dataframe转换为d

浏览 3提问于2019-03-22得票数 5

回答已采纳

1回答

没有权限的Uri : hdfs:/data/_ spark _metadata错误当在hdfs上使用spark流写入parquet文件时

apache-spark、hdfs

我正在尝试从kafka中读取数据并保存到hdfs上的拼图文件中。我的代码类似于下面的代码，不同的是我是用Java编写的。checkpointLocation", "/tmp/sparkcheckpoint1/").outputMode("append").start().awaiteTermination() 但是，它抛出了

浏览 4提问于2018-03-08得票数 2

1回答

read_parquet任务中的TypeError

python、pandas、dask、parquet

我有一个名为data.parquet的拼图文件。我使用的是Python中的库dask。当我运行这条线时 import dask.dataframe as dd df = dd.read_parquet('data.parquet',engine='pyarrow') 我得到了错误 TypeErrorTypeError: get_metadata() takes 1 positional argument but 2 were given 我只是不明白为什么会发生这种情况，因为这就是它

浏览 13提问于2020-10-14得票数 0

2回答

熊猫:管理大csv文件:组+排序在新的文件？

python、pandas、csv、out-of-memory

我有一个非常大的csv文件要管理，通过这个过程：这是我第一次尝试： file = pd.read_csv('file.csv')坏点:文件太大了，不能这样处理，我有一个内存错误。但是，正如您所看到的，因为如果数据退出，我会将数据附加到文件中，因此数据不会被排序。关于这一点，您知道是否有一种方法(我目前还没有看到)，解决内存错误问题，并以更快的方式进行分组/排序的过程吗？也许(当然)这是不可能的，但任何改进都会有所帮助(以一

浏览 2提问于2020-02-26得票数 4

1回答

尝试使用Microsoft图形访问sharepoint列表时未对调用者进行身份验证

microsoft-graph-api、sharepoint-online

尝试使用Microsoft的Graph beta使用密钥通过已注册的Azure应用程序访问Sharepoint列表。我能够成功地查看/访问一些列表(看起来像是在创建站点时创建的列表)，但我手动创建的任何列表都丢失了。https://graph.microsoft.com/beta/sites/contoso.sharepoint.com,fc016e3c-d8ae-4ee0-a10c-de6d26788b6a,9a4ea7a5-c3c4-44ae-9f80-273bd67431b8\lists 但由于某些原因，它只显示某些列表，而不显示

浏览 1提问于2017-05-16得票数 0

1回答

在dataframe上进行Dask计算以添加列返回AttributeError

python、json、pandas、dask、dask-dataframe

我有一个函数，它使用函数将列添加到DataFrame中，例如 resp_data = {'status': '1', 'data': x}return json.dumps(resp_data)import dask.dataframe as ddatt']), axis=1, result_type=&

浏览 2提问于2022-01-27得票数 1

回答已采纳

1回答

会话已失效，因为用户已更改密码->未更改任何密码

facebook-graph-api、oauth、passwords

问题是，从昨天开始，它抛出了一个错误：有没有人对我解决这个问题的正确方向有什么建议？我将非常感谢您的帮助。AceLine

浏览 2提问于2013-07-09得票数 7

3回答

在GORM中，当在Controller上修改Object属性时，数据库中的对象不会被修改

grails、grails-orm

在我的Grails应用程序中，我将域类的一个对象引导为： user1.save()Users userObj = Users.get((Long) 1) println(userObj as JSON); // This givesotherUserObj as JSON)// This gives me: {"

浏览 7提问于2016-10-05得票数 1

点击加载更多