3回答
我正在尝试一种以熊猫数据帧为中心的数据结构，但我想是不是有一个“扭曲”？这就是加载到pandas中的输入表(tsv)。，其中包含来自原始值列的值。此外，原始类型和单位列必须与新的sensor_x列“名称合并”，并保留它们的值。 目标是将其保存为镶木地板。重要提示:可以有两个以上的传感器。现在，我完成了创建一个包含我需要的所有信息的MultiIndexed数
浏览 23提问于2020-12-12得票数 0
9回答
我刚接触BigData.I需要将csv/txt文件转换为Parquet格式。我搜索了很多，但找不到任何直接的方法。有什么方法可以做到这一点吗？
浏览 3提问于2014-09-30得票数 40
可以将pandas数据框直接保存到拼图文件中吗？如果没有，建议的流程是什么？
目标是能够将拼图文件发送给另一个团队，他们可以使用scala代码读取/打开该文件。谢谢!
浏览 0提问于2016-12-10得票数 27
1回答
我目前的系统就是这样架构的。
日志解析器将每隔5分钟解析一次原始日志，格式为TSV，并输出到HDFS。我从HDFS的TSV文件中创建了Hive表。从一些基准测试中，我发现拼图可以节省多达30-40%的空间使用。我还发现，从Hive 0.13开始，我可以从拼图文件中创建Hive表。我想知道我是否可以将TSV转换为拼图文件。任何建议都是值得感谢的。
浏览 1提问于2014-11-27得票数 0
1回答
如何转换Pandas数据帧架构
、、、、
但是，我希望对新的parquet文件使用以下模式Column2: stringColumn4: string__index_level_0__: int64import pandas as pdimpor
浏览 3提问于2018-11-10得票数 2
回答已采纳
我有以下代码，可以从一个拼图文件加载一个pandas数据帧。拼图文件有一个名为the_date的列，我正在尝试创建一个按日期过滤的新数据帧。df = pd.read_parquet('path/to/file.parquet')df2 = df[df['从拼图加载数据</e
浏览 18提问于2021-07-14得票数 0
回答已采纳
我有一堆parquet文件，每个文件都包含我的数据集的一个子集。假设文件名为data-N.parquet，其中N是一个整数。我可以全部读取它们，然后将其转换为pandas数据帧： files = glob.glob("data-**.parquet") files,metadata_nthreads=64,
).read_table(use_
浏览 48提问于2021-09-29得票数 1
回答已采纳
2回答
使用Dask导入大型CSV文件
、、、、
我正在使用Dask导入一个非常大的csv文件，大约680 am，然而，输出并不是我所期望的。我的目标是只选择一些列(6/50)，并可能过滤它们(这一点我不确定，因为似乎没有数据？)
浏览 6提问于2021-07-03得票数 3
1回答
Parquet是否支持在单个文件中存储不同宽度(列数)的各种数据帧？例如，在HDF5中，可以存储多个这样的数据帧并通过密钥访问它们。到目前为止，从我的来看，Parquet不支持它，所以可以选择将多个Parquet文件存储到文件系统中。我有一个相当大的数字(比如10000)的相对较小的帧~1-5MB的</
浏览 0提问于2018-05-21得票数 13
回答已采纳
1回答
使用案例如下：我一直在尝试在内存中执行第二步(不需要将文件存储到磁盘以获得parquet格式)，但到目前为止，我看到的所有库都是写入磁盘的。因此，我有以下问题：
如果在内存中完成转换，性能不是更好吗?因为您不必处理I/O磁盘开销。当您增加转换</em
浏览 65提问于2018-10-23得票数 7
作为ETL管道的一部分，我需要将数据从JSON转换为parquet。我目前使用的是的from_pandas方法。然而，首先构建数据帧似乎是一个不必要的步骤，另外，我希望避免让熊猫作为依赖。有没有一种方法可以在不需要先加载数据帧的情况下编写拼图文件？
浏览 0提问于2018-05-04得票数 10
对于AzureML Python SDK，我们可以使用get_by_name()来返回数据集。import azuremlsdk并且我可以通过.to_pandas_dataframe()方法获得mydata的熊猫数据帧对于R等效值，我被困在这里
mydata <- azuremlsdk::get_dataset_b
浏览 3提问于2020-05-21得票数 1
1回答
我正在使用files parquet将pandas数据帧转换为parquet文件。这比我之前使用pyspark的方法要快得多。我有几个问题我设法解决了。我现在遇到的问题是RLE编码。
浏览 4提问于2017-05-11得票数 1
1回答
我想使用Dask来完成一些数据预处理，其中包含一些非常大的文件，9600万行和500万行，每个文件大约10列。这只发生在我的笔记本电脑上(它有32 of的RAM)。使用Pandas会导致笔记本停止，然后重新启动Jupyter服务器。然而，到目前为止，Dask也是如此。 重新启动服务器的操作是尝试将IP地址从float转换为int。当我的数据帧加载时，IP地址有nan值，这导致Pandas</
浏览 42提问于2021-08-04得票数 0
3回答
我想使用PyArrow将下列熊猫数据帧存储在一个拼花文件中：df = pd.DataFrame({'field': [[{}, {}]]}) field我首先定义了相应的PyArrow模式：schema = pa.schema([pa.field('field', pa.list_(pa.struct([]
浏览 2提问于2019-02-21得票数 6
回答已采纳
3回答
将excel转换为拼图文件
、、、、
我有一个很大的excel文件，其中有一些列包含自由文本数据，这些数据有很长的句子。我必须将此格式转换为镶木地板格式，以摄取到仓库。我无法将其转换为csv，因为那些具有长句子的列有逗号。这里有什么建议，如何用python将这种类型的excel文件转换成parquet格式？
谢谢!！
浏览 4提问于2020-10-01得票数 0
我想存储一个熊猫数据帧作为Parquet文件。但我发现了一个错误：import pandas
df = pandas.DataF
浏览 2提问于2022-06-29得票数 -1
3回答
我想以拼图格式在我的s3存储桶中写入数据帧。我知道如何以csv格式编写数据帧。但是我不知道怎么用拼花拼花的格式写。下面是csv格式的代码(我没有显示字段ServerSideEncryption和SSEKMSKeyId，但我在实际代码中使用了它们)： ServerSideEncryption='XXXXX&#
浏览 33提问于2019-11-28得票数 3
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
