将Pandas Dataframe转换为Parquet失败:列表子类型字符串溢出单个区块的容量
将Pandas Dataframe转换为Parquet失败可能是由于列表子类型字符串溢出单个区块的容量所致。Parquet是一种列式存储格式，可以有效地压缩和存储大量的数据，但是在转换过程中会遇到容量限制的问题。
解决这个问题的方法是对列表子类型字符串进行适当的处理，以确保其大小不会超过单个区块的容量。以下是一些可能的解决方案和建议：
- 数据压缩：使用数据压缩算法（如gzip或snappy）可以有效地减少数据的大小，从而避免溢出问题。可以在转换为Parquet之前对列表子类型字符串进行压缩。
- 数据分割：将大的列表子类型字符串进行分割，使其分布在多个区块中。这样可以确保每个区块的大小都在限制范围内。可以使用Pandas的切片或拆分函数将列表分割为更小的块，然后分别转换为Parquet格式。
- 数据类型转换：如果可能的话，可以考虑将列表子类型字符串转换为其他更合适的数据类型，例如分类数据类型或数值类型。这样可以减少存储空间的占用，并且降低溢出的风险。
- 调整Parquet配置：在转换过程中，可以尝试调整Parquet的配置参数，如区块大小和压缩算法类型。通过调整这些参数，可以根据实际情况优化Parquet文件的存储和性能。
总结起来，处理将Pandas Dataframe转换为Parquet失败的问题时，需要注意数据大小和Parquet配置参数，以确保数据不会溢出单个区块的容量。可以通过数据压缩、数据分割、数据类型转换和调整Parquet配置等方法来解决这个问题。同时，为了更好地使用云计算服务，可以考虑使用腾讯云提供的相关产品，如对象存储COS和大数据分析引擎TDSQL等。关于腾讯云产品的详细信息和介绍，可以访问腾讯云官方网站（https://cloud.tencent.com/）进行了解。
相关·内容
4回答
我和熊猫一起工作，和火花数据中心一起工作。数据格式总是很大(> 20 GB)，标准的火花函数不足以满足这些大小。目前我正在把我的熊猫数据转换成这样的星星之火：
dataframe = spark.createDataFrame(pandas_dataframe)
我之所以进行这种转换，是因为通过星星之火将数据写入hdfs非常容易：
dataframe.write.parquet(output_uri, mode="overwrite", compression="snappy")
但是对于大于2GB的数据文件来说，转换失败了。如果我将星火数据转换成熊猫
浏览 7提问于2017-11-20得票数 13
回答已采纳
1回答
为了从一个pandas数据帧写入到parquet，我执行以下操作： df = pd.DataFrame(DATA)
table = pa.Table.from_pandas(df)
pq.write_table(table, 'DATA.parquet') 但是，如果我有1B行，这就不能很好地工作，而且它不能放入内存中。在这种情况下，我如何增量地写入数据。例如，如下所示： DATA = []
BACTCH_SIZE = 10000
with open('largefile.csv') as f:
for num, line in enumerate(f
浏览 29提问于2019-02-09得票数 1
回答已采纳
我有一只熊猫DataFrame：
import pandas as pd
df = pd.DataFrame(data={"col1": [1, 2], "col2": [3.0, 4.0], "col3": ["foo", "bar"]})
使用
from s3fs import S3FileSystem
s3fs = S3FileSystem(**kwargs)
我可以把它写成一个拼花数据集
import pyarrow as pa
import pyarrow.parq
浏览 7提问于2021-12-10得票数 3
回答已采纳
我在Django模型中存储一个熊猫DataFrame作为PickledObjectField。我需要根据特定的逻辑访问和修改这个DataFrame。Pandas使这项工作变得容易得多，我有一个使用Pandas选择和过滤器的engine类。
我是否应该有一个单独的模型，将每一行存储在DataFrame中，然后使用django-pandas读取，执行操作并更新模型？这里的关键是，将通过添加/删除一些行来修改DataFrame，因此，如果要将其存储在模型中，则删除所有记录并重新填充模型会更容易。
DataFrame少于100行，所以我不担心可伸缩性。
浏览 0提问于2018-12-15得票数 0
1回答
将数据(熊猫数据帧)添加到拼图存储中现有的dask数据帧的推荐方法是什么？ 例如，此测试间歇性地失败： import dask.dataframe as dd
import numpy as np
import pandas as pd
def test_dask_intermittent_error(tmp_path):
df = pd.DataFrame(np.random.randn(100, 1), columns=['A'],
index=pd.date_range('20130101', per
浏览 7提问于2020-04-29得票数 0
我有拼花文件，也就是800 K行x8.7K列。我把它装进了一个dask数据仓库：
import dask.dataframe as dd
dask_train_df = dd.read_parquet('train.parquet')
dask_train_df.info()
这产生了：
<class 'dask.dataframe.core.DataFrame'>
Columns: 8712 entries, 0 to 8711
dtypes: int8(8712)
当我尝试执行像dask_train_df.head()或dask_train_df
浏览 0提问于2018-12-24得票数 6
回答已采纳
在执行以下操作时：Dask.dataframe.to_parquet(data)，如果通过Dask读取具有给定分区数量的data，并且您在移除一些列后尝试将其保存为parquet格式，则会失败，并显示以下错误： FileNotFoundError: [Errno 2] No such file or directory: part.0.parquet' 有人遇到过同样的问题吗？ 下面是一个最小的例子--请注意，方法1按预期工作，而方法2则不是： import numpy as np
import pandas as pd
import dask.dataframe as dd
#
浏览 19提问于2021-03-25得票数 1
回答已采纳
1回答
我在这里主要是重复我在上看到的一个问题，希望堆栈溢出社区的答案/解释比论坛上的讨论更透彻、更有启发性。
下面是我对这个问题的经验:我使用熊猫从python中的dataframe中制作一个拼花文件，并使用pandas.to_datetime将字段/列(如生日)作为一个pandas.to_datetime。这个过程的这一部分似乎是完美无缺的，因为我可以使用pandas.read_parquet读取拼花文件，并得到我所期望的，即日期时间中输入的日期。但是，当我将所述的拼花文件加载到AWS并在其上放置一个athena表时，读取相同的生日栏会产生与拼花文件中的日期完全不同的垃圾日期。例如：
t = pa
浏览 1提问于2020-07-31得票数 2
回答已采纳
我正在尝试在append模式下将pandas dataframe写成parquet文件格式(在最新的pandas版本0.21.0中引入)。但是，该文件将被新数据覆盖，而不是附加到现有文件。我遗漏了什么？
写入语法为
df.to_parquet(path, mode='append')
读取器语法为
pd.read_parquet(path)
浏览 0提问于2017-11-09得票数 7
1回答
是否有一种方法可以强制将pd.DataFrame列编码为给定类型，即使该列的所有值都为null？parquet在其模式中自动分配"null“这一事实阻止了我将许多文件加载到单个dask.dataframe中。
试着用df.column_name = df.column_name.astype(sometype)来投熊猫栏是行不通的。
为什么我要问这个
我想将许多拼板文件加载到一个dask.dataframe中。所有文件都是从同样多的pd.DataFrame实例中生成的，使用df.to_parquet(filename)。所有的dataframes都有相同的列，但是对于某些特定的列，可能
浏览 1提问于2018-05-01得票数 16
回答已采纳
1回答
以下代码失败，并显示 pandas._libs.tslibs.np_datetime.OutOfBoundsDatetime: Out of bounds nanosecond timestamp: -221047-10-07 10:43:35 from pathlib import Path
import dask.dataframe as dd
import numpy as np
import pandas as pd
import tempfile
def run():
temp_folder = tempfile.TemporaryDirectory()
rn
浏览 14提问于2021-08-10得票数 1
我注意到，根据熊猫的不同版本，pandas.to_parquet生成的pandas.to_parquet文件中的列类型可能不同。
In [1]: pd.__version__
Out[1]: '1.0.5'
In [2]: pd.DataFrame([pd.Timestamp('2020-01-01')], columns=['a']).to_parq
浏览 3提问于2020-09-24得票数 2
回答已采纳
1回答
Parquet是否支持在单个文件中存储不同宽度(列数)的各种数据帧？例如，在HDF5中，可以存储多个这样的数据帧并通过密钥访问它们。到目前为止，从我的来看，Parquet不支持它，所以可以选择将多个Parquet文件存储到文件系统中。我有一个相当大的数字(比如10000)的相对较小的帧~1-5MB的处理，所以我不确定这是否会成为一个关注？
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
dfs = []
df1 = pd.DataFrame(data={"A": [1, 2, 3],
浏览 0提问于2018-05-21得票数 13
回答已采纳
1回答
我正在将数据上传到bigquery表。
df.to_gbq('Deduplic.DailyReport', project_id=BQ_PROJECT_ID, credentials=credentials, if_exists='append')
我得到了以下错误：
OSError Traceback (most recent call last)
~/.local/lib/python3.8/site-packages/google/cloud/bigquery/client.py in l
浏览 18提问于2022-05-09得票数 0
回答已采纳
我正在使用pandas_gbq模块尝试将数据添加到Google BigQuery中的一个表中。
我一直在犯这个错误：
ArrowTypeError:预期字节，有一个'int‘对象。
我可以确认数据格式的数据类型与BQ表的模式相匹配。
我发现这篇文章是关于Parquet文件不能具有混合数据类型的：
在我收到的错误消息中，我看到了对Parquet文件的引用，所以我假设df.to_gbq()调用正在创建Parquet文件，并且我有一个混合数据类型列，这导致了错误。错误消息没有指定。
我认为我面临的挑战是找不到哪一列具有混合数据类型--我尝试将它们全部转换为字符串，然后指定表模式参数，但这
浏览 6提问于2022-03-21得票数 4
当我在下面执行代码-获取以下错误时，ValueError:表模式与用于创建文件的模式不匹配。
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
fields = [
('one', pa.int64()),
('two', pa.string(), False),
('three', pa.bool_())
]
schema = pa.schema(fields)
schema = schema.remove_metadata(
浏览 0提问于2019-07-11得票数 6
回答已采纳
当熊猫数据帧被分割并使用pyarrow保存为拼花文件时，数据类型不会被保存。
案例1:保存分区数据集-数据类型未保留
# Saving a Pandas Dataframe to Local as a partioned parquet file using pyarrow
import pandas as pd
df = pd.DataFrame({'age': [77,32,234],'name':['agan','bbobby','test'] })
path = 'test'
partiti
浏览 0提问于2019-08-01得票数 2
回答已采纳
我从Parquet文件创建一个DataFrame，如下所示：
DataFrame parquetFile = sqlContext.read().parquet("test_file.parquet");
parquetFile.printSchema();
parquetFile.registerTempTable("myData");
DataFrame data_df = sqlContext.sql("SELECT * FROM myData");
现在，我想打印出一个名为field1的列的所有唯一值。
我知道，在使用Python的情况下
浏览 8提问于2017-05-19得票数 2
回答已采纳
无法将拼图文件作为dask数据帧读取。我可以和熊猫一起读书。请给我建议！我不知道我错过了什么！dask版本== 1.0.0、pyarrow版本== 0.13.0、pandas版本==0.23.4
Paruet文件示例
UniqueReference DateTime Consumption
0 ABCD 2018-08-01 00:00:00 9
1 EFGH 2018-08-01 01:00:00 0
2 IJKL 2018-08-01 02:00:00 0
3 MNO
浏览 0提问于2020-08-31得票数 1
我正在使用拼花，我需要在我的约会中使用date32[day]对象，但我不清楚如何使用熊猫来生成这种精确的数据类型，而不是时间戳。
考虑一下这个例子：
from datetime import datetime, date
import pyarrow.parquet as pq
import pandas as pd
df1 = pd.DataFrame({'date': [date.today()]})
df1.to_parquet('testdates.parquet')
pq.read_table("testdates.parquet")
浏览 10提问于2022-04-07得票数 2
回答已采纳
我正在尝试将Python Pandas DataFrame存储为拼图文件，但我遇到了一些问题。我的Pandas DF的其中一列包含如下字典： import pandas as pandas
df = pd.DataFrame({
"ColA": [1, 2, 3],
"ColB": ["X", "Y", "Z"],
"ColC": [
{ "Field": "Value" },
{ "Field
浏览 151提问于2020-08-06得票数 4
回答已采纳
你能帮我解决这个错误吗？
我正在尝试执行以下代码以将DataFrame本地保存为一个分区Parquet文件：
dfcitas.write.format("parquet")\
.mode("overwrite")\
.partitionBy("NPatente")\
.save("/datos/dfcitas-particionado.parquet")
这个错误出现了：
AttributeErrorTraceback (most recent call last)
<ipython-input-16
浏览 2提问于2020-06-21得票数 2
我正在尝试将拼图文件读取到Pandas数据帧中。使用下面的API(或者即使我使用pd.read_parquet()包装器)，我被ValueError buffer source array is read-only击中了。 通过网上搜索，似乎与Cython不支持只读缓冲区有关，但我找不到任何解决方案来解决这个问题。 当应用程序接口抛出ValueError缓冲源数组为只读时，我如何将Parquet文件读入Pandas dataframe？ In [1]: import pandas as pd
...: import numpy as np
...: import pyarrow
浏览 44提问于2018-12-31得票数 1
我想存储一个熊猫数据帧作为Parquet文件。但我发现了一个错误：
pyarrow.lib.ArrowTypeError：(“不能将<class 'str'>类型的对象转换为int"，”类型对象的列foo转换失败“)
该列具有混合数据类型。我想这就是问题所在。但我该怎么解决呢？
#!/usr/bin/env python3
import pandas
df = pandas.DataFrame(
data={
'foo': [pandas.Timestamp('2022-06-01'), '
浏览 2提问于2022-06-29得票数 -1
1回答
我试图写入存储在本地文件系统上的现有Parquet文件。但是，当多次写入时，前面的一个将被重写而不是添加。
from datetime import datetime
import os
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
def append_to_parquet_table(dataframe, filename):
full_path = os.path.join('.', filename)
table = pa.Table.from_pandas
浏览 12提问于2019-12-03得票数 0
回答已采纳
假设我有这两个拼板文件
import pandas as pd
pd.DataFrame([[0]], columns=["a"]).to_parquet("/tmp/1.parquet")
pd.DataFrame([[0],[2]], columns=["a"]).to_parquet("/tmp/2.parquet")
我想要一个新的拼花文件，这是一个两行明智的结合。
生成的DataFrame应该如下所示
a
0 0
1 0
2 2
我还想用预先确定的分区数重新划分这个新文件。
浏览 3提问于2022-11-03得票数 0
回答已采纳
看起来Pandas并没有将Pandas 时三角洲翻译成Parquet 间隔期：
>>> import pandas as pd
>>> df = pd.DataFrame([{'seconds': 30}])
>>> df.to_parquet('/tmp/test.parquet') # so far so good
>>> df['duration'] = pd.to_timedelta(df.seconds, unit='seconds')
>&g
浏览 0提问于2021-05-02得票数 3
回答已采纳
使用pyarrow将包含Player对象的pandas.DataFrame转换为具有以下代码的pyarrow.Table
import pandas as pd
import pyarrow as pa
class Player:
def __init__(self, name, age, gender):
self.name = name
self.age = age
self.gender = gender
def __repr__(self):
return f'<{self.name} (
浏览 3提问于2020-01-07得票数 20
1回答
我现在有一个s3桶，里面有文件夹和拼花文件。我想阅读所有单独的拼花文件，并将它们连接到一个熊猫数据文件中，不管它们在哪个文件夹中。
我正在尝试以下代码：
import pyarrow.parquet as pq
import s3fs
s3 = s3fs.S3FileSystem()
pandas_dataframe = pq.ParquetDataset('s3://vivienda-test/2022/11', filesystem=s3).read_pandas().to_pandas()
print(pandas_dataframe)
我意识到它只适用于连接桶的特定文
浏览 6提问于2022-11-03得票数 0
我试着用Dask来写拼花文件。目标是使用它的repartition特性，但似乎我无法写出一个简单的拼花文件，而不进入repartition步骤.
下面是我使用的代码，用于从pyarrow创建一个拼花文件，然后由dask将其读回，然后再写一次。
import pandas as pd
import numpy as np
import pyarrow as pa
import pyarrow.parquet as pq
import dask.dataframe as dd
file = 'example.parquet'
file_res = 'example_res
浏览 1提问于2020-12-15得票数 3
回答已采纳
1回答
我试图在parquet文件中进行转换(联合两个表，或添加一个列)，然后保存它，同时遇到FileNotFound错误。
再现我的错误的代码片段如下：
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
import pandas as pd
spark = SparkSession.builder.appName('test').getOrCreate()
# create some data
a = spark.createDataFrame(pd.DataFrame({
浏览 5提问于2022-04-09得票数 0
回答已采纳
2回答
请考虑以下代码：
import dask.dataframe as dd
import numpy as np
df1=pd.DataFrame({'A': [1, 2], 'B': [11, 12]})
df1.to_parquet("df1.parquet")
df2=pd.DataFrame({'A': [3, 4], 'C': [13, 14]})
df2.to_parquet("df2.parquet")
all_files = ["df1.parquet", "
浏览 6提问于2022-03-20得票数 0
1回答
我正在用pandas和pyarrow从python字典列表中创建拼图文件。但获取空的nasted字典时出现以下错误。
Cannot write struct type 'subject' with no child field to Parquet. Consider adding a dummy child field
下面的代码。
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
data =[
{
"name":"david"
浏览 3提问于2021-09-02得票数 0
1回答
从S3性能混淆中读取拼图
、、、、
我在AWS S3中有一个Parquet文件。我想把它读入潘达斯DataFrame。有两种方法可以让我做到这一点。
1)
import pyarrow.parquet as pq
table = pq.read_table("s3://tpc-h-parquet/lineitem/part0.snappy.parquet") (takes 1 sec)
pandas_table = table.to_pandas() ( takes 1 sec !!! )
2)
import pandas as pd
table = pd.read_parquet("s3://tpc-h
浏览 2提问于2022-01-26得票数 1
回答已采纳
我正在将大型CSV文件转换为Parquet文件，以便进一步分析。我将CSV数据读入Pandas中，并按以下方式指定列dtypes
_dtype = {"column_1": "float64",
"column_2": "category",
"column_3": "int64",
"column_4": "int64"}
df = pd.read_csv("data.csv", dtyp
浏览 0提问于2019-02-17得票数 10
回答已采纳
我需要将扩展名为.snappy.parquet的文件读入我的Jupyter笔记本，并将其转换为pandas dataframe。
import pyarrow.parquet as pq
filename = "part-00000-tid-2430471264870034304-5b82f32f-de64-40fb-86c0-fb7df2558985-1598426-1-c000.snappy.parquet"
df = pq.read_table(filename).to_pandas()```
The error is: ```ArrowNotImplemente
浏览 1提问于2019-11-30得票数 1
我使用pyarrow.parquet读取了一个parquet文件，该文件是spark的输出。输出由一些行组成，每一行有两对:一个字和一个向量(每行是一个word2vec对)。如下所示：
word1 "-0.10812066 0.04352815 0.00529436 -0.0492562 -0.0974493533 0.275364409 -0.06501597 -0.3123745185 0.28186324 -0.05055101 0.06338456 -0.0842542 -0.10491376 -0.09692618 0.02451115 0.10766134“word2 &
浏览 0提问于2019-04-29得票数 0
回答已采纳
我试图通过Dataframe保存到与Dask调度程序/工作人员所在的同一台机器上。但是，我在这段时间里遇到了麻烦。
My安装程序：我的python脚本在本地计算机(笔记本电脑16 GB RAM)上执行，但该脚本为运行在远程计算机上的Dask调度程序(用于并行计算的具有400 GB RAM的服务器)创建了Dask客户端。Dask调度程序和工作人员都位于同一台服务器上，因此它们都共享本地可用的相同的文件系统。由于我的团队的所有成员都使用这个远程Dask调度程序，我们正在处理的文件也位于同一服务器上，通过同一个Dask集群向所有成员提供对所有文件的公共访问。
我试过：
# This saves th
浏览 2提问于2019-12-20得票数 2
回答已采纳
2回答
我有一个工作代码可以从S3中的一个桶中下载文件，并通过Python完成一些转换工作。I不嵌入，在代码中嵌入访问和密钥，但是键在中，我的AWS配置。
import boto3
import botocore
BUCKET_NAME = 'converted-parquet-bucket' # replace with your own bucket name
KEY = 'json-to-parquet/names.snappy.parquet' # replace with path and follow with key object
s3 = boto
浏览 2提问于2019-10-23得票数 0
使用Python、Parquet和Spark，并在升级到pyarrow=3.0.0后运行到pyarrow=3.0.0。没有此错误的前一个版本是pyarrow=0.17。错误不出现在pyarrow=1.0.1中，在pyarrow=2.0.0中显示。其想法是使用Snappy压缩将熊猫DataFrame编写为Parquet数据集(在Windows上)，然后使用Spark处理Parquet数据集。
import numpy as np
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
df = pd.DataF
浏览 3提问于2021-02-02得票数 15
回答已采纳
使用spark写一个文件s3通常会创建一个有11个文件成功的目录，另一个文件名以s3中有实际数据的部分名称开头，如何使用pandas dataframe加载相同的文件，因为文件路径会改变，因为所有10个有实际数据的文件在每次运行中解析的文件名都会不同。
例如，编写时的文件路径：
df.colaesce.(10).write.path("s3://testfolder.csv")
存储在目录中的文件包括：
- sucess
- part-00-*.parquet
我有一个python作业，它将文件读取到pandas dataframe。
pd.read(s3\\.........
浏览 0提问于2020-08-17得票数 0
用例是将一列附加到Parquet数据集，然后在同一位置高效地重写。下面是一个很小的例子。
创建一个pandas DataFrame并将其写入一个分区的Parquet数据集。
import pandas as pd
df = pd.DataFrame({
'id': ['a','a','a','b','b','b','b','c','c'],
'value': [0,1,2,3,4,5,6,
浏览 7提问于2021-10-14得票数 0
回答已采纳
1回答
我创建了一个parquet文件夹，dask包含多个文件，每个文件约100 of。当我用df = dask.dataframe.read_parquet(path_to_parquet_folder)加载数据文件并运行任何类型的计算(如df.describe().compute())时，我的内核就会崩溃。
我注意到的事情：
CPU使用率(约100%)表示不使用多线程，内存使用量远远超过单个文件的大小，系统内存使用率接近100%后内核崩溃。
编辑：
我试图创建一个可重复的示例，但没有成功，但我发现了其他一些奇怪之处，似乎都与我正在使用的较新的pandas d类型有关：
import pandas
浏览 31提问于2021-12-12得票数 1
回答已采纳
1回答
我有一些以时间为索引的数据帧中的时间序列数据。索引被排序，数据存储在多个拼花文件中，每个文件中有一天的数据。我使用dask 2.9.1
当我从一个拼花文件中加载数据时，分割被正确设置。
当我从多个文件加载数据时，我不会得到结果dask数据文件中的偏差。
下面的例子说明了这个问题：
import pandas as pd
import pandas.util.testing as tm
import dask.dataframe as dd
df = tm.makeTimeDataFrame( 48, "H")
df1 = df[:24].sort_index()
df2
浏览 1提问于2020-01-02得票数 1
回答已采纳
1回答
分块时追加拼花文件
、、、
我正在尝试以pandas dataframe模式将parquet文件格式写成append。但是，该文件不是附加到现有文件，而是被新数据覆盖。我遗漏了什么？
写语法是
df.to_parquet(path, mode='append')
读取语法是
pd.read_parquet(path)
浏览 5提问于2022-10-20得票数 0
回答已采纳
4回答
如何使用pyarrow向parquet文件追加/更新？
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
table2 = pd.DataFrame({'one': [-1, np.nan, 2.5], 'two': ['foo', 'bar', 'baz'], 'three': [True, False, True]})
table3 = pd.DataFrame({'six': [-
浏览 2提问于2017-11-05得票数 36
回答已采纳
1回答
我是Dask的新手，并使用行组将pandas Dataframe导出到Parquet： x.to_parquet(path + 'ohlcv_TRX-PERP_978627_rowgrouped.prq', row_group_size=1000) 然后我尝试用Dask加载它，它似乎工作正常(？)： x = dd.read_parquet(path + 'ohlcv_TRX-PERP_978627_rowgrouped.prq')
x
# Note: The dataframe has almost 2000 columns, I clipped them
浏览 15提问于2021-06-18得票数 1
我正在运行一个Spark应用程序，该应用程序将数据库中的100万行数据加载到201个分区中，然后将其写入到parquet文件中。应用程序代码可能如下所示：
dataframe = spark.read.format('jdbc').options(...).load()
dataframe_over_range = dataframe.filter("date >= '2017-01-01 00:00:00'")
if dataframe_over_range.head(1):
for date in dates: # dates
浏览 2提问于2022-08-17得票数 0
回答已采纳
我正在尝试将数据从MYSQL加载到BigQuery。我用的是熊猫，jaydebeapi和load_table_from_dataframe。在使用相同的方法时，获取以下错误：
>>> job = client.load_table_from_dataframe(chunk, table_id)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/aarpan_roy/.local/lib/python2.7/
浏览 5提问于2020-08-23得票数 0
1回答
我有一只熊猫DataFrame，df，我把它变成了DataFrame，dask_df
import pandas as pd
import dask.dataframe as dd
df = pd.DataFrame.from_dict({'col1':[1,2,3], 'col2':[2,3,4]})
dask_df = dd.from_pandas(df, npartitions=1)
当我把dask_df的索引变成熊猫的数据后，我检查了一下，看看：
dask_df.compute().index # RangeIndex(start=0, stop=3,
浏览 1提问于2019-09-16得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
