将pandas DataFrame写入gzip压缩的CSV会将时间戳添加到归档中： import pandas as pddf.to_csv('df.csv.gz', compression='gzip</em
浏览 13提问于2019-01-09得票数 0
回答已采纳
2回答
我从数据库中生成了一个DataFrame。如何提供下载CSV的响应？基本上，response = HttpResponse(content_type='text/csv')
# ... type mapping code ...retu
浏览 0提问于2019-02-17得票数 9
回答已采纳
4回答
有人可以提供如何使用Python/Pandas包从csv文件创建zip文件吗？谢谢
浏览 6提问于2016-06-10得票数 25
回答已采纳
我希望能够为我正在写入s3的文件名添加一个时间戳。到目前为止，我已经能够使用下面的示例将文件写入AWS S3。有人能指导我如何在文件名中添加日期时间戳吗？copy into @s3bucket/something.csv.gzfile_format = (type=<
浏览 22提问于2020-05-05得票数 1
回答已采纳
1回答
我需要将一个文件移动到一个归档文件夹中，并在文件名前面添加一个时间戳。csv当我将文件移动到归档文件夹时，还需要在文件名的前面添加
浏览 0提问于2018-08-17得票数 0
回答已采纳
3回答
我知道，通过将compression='gzip'参数传递给pd.to_csv()，我可以将DataFrame保存到压缩的CSV文件中。my_df.to_csv('my_file_name.csv', compression='gzip')
我还知道，如果我想将DataFrame附加到现有CSV文
浏览 10提问于2016-07-29得票数 14
可以将pandas数据框直接保存到拼图文件中吗？如果没有，建议的流程是什么？
目标是能够将拼图文件发送给另一个团队，他们可以使用scala代码读取/打开该文件。谢谢!
浏览 0提问于2016-12-10得票数 27
1回答
并行化GZip文件处理火花
、、、、
我有一个巨大的GZip文件列表，需要转换为Parquet。由于GZip的压缩特性，无法对一个文件进行并行化。我可以并行化文件名列表，编写一个处理本地Parquets并将它们保存回HDFS的函数。我完全意识到Spark可以将它们作为RDD读入，
浏览 0提问于2016-02-15得票数 3
使用csv将时间序列数据写入pandas.Series.to_csv文件，将00:00:00添加到每个日期索引中，这在另一个应用程序中打开csv文件时很烦人。Date,price2000-06-02 00:00:00,92.69是否有一种干净的/仿生的
浏览 2提问于2013-03-27得票数 2
2回答
我正在尝试为我的pandas文件添加一个新的值。我的pandas文件是我使用以下代码读取的.CSV文件：import numpy as npdf.columns = [&#
浏览 0提问于2017-03-10得票数 0
4回答
我猜想这是一个简单的修复，但我遇到了一个问题，使用to_csv()函数将熊猫数据保存到csv文件需要将近一个小时。我和熊猫一起用巨蟒2.7.12 (0.19.1)。import osimport pandas as pd
src_files = glob.glob(os.path.join('/my/path', "*.csv.gz")# 1 - Takes 2 min to read 20m rec
浏览 4提问于2016-11-17得票数 25
考虑一下将CSV读入DataFrame并将其写成Parquet的最小火花作业：df.write.parquet("parquet_folder/")
对于输入文件中的任何时间戳列，Parquet输出将包含一个具有
浏览 0提问于2020-09-01得票数 1
3回答
是否有一种方法可以为其文件/目录创建一个省略atime/ctime/mtime值的.tar文件？我们在构建过程中有一个步骤，生成一个被打包到tarfile中的工件目录。我们期望构建步骤是幂等的--给定相同的输入，每次生成完全相同的文件/输出。
理想情况下，我们还希望这个步骤在干净的构建中按位幂等，这样我们就可以使用连续构建的散列来检查什么都没有改变。但是，由于tar文件包含每个条目的时间戳(atime&#x
浏览 5提问于2015-10-07得票数 37
回答已采纳
2回答
我正在使用dask读取5个大的(>1 GB) csv文件，并将它们合并(类似SQL)到一个dask数据帧中。现在，我正在尝试将合并后的结果写入单个csv。我在dask dataframe上使用compute()将数据收集到单个df中，然后调用to_csv。但是，compute()在读取所有分区的数据时速度很慢。我尝试在dask df上直接调用to_csv，它创建了多个.part文件</
浏览 5提问于2017-03-23得票数 4
有谁知道是什么原因导致pandas.DataFrame.to_csv无法导出完整的数据帧吗？print(len(df))df.to_csv('filename.csv'))
生成的csv文件有54470行，缺少大约1/3的数据块。我的数据有时间戳，我可以告诉我丢失的数据是一个很大的块，而不是整个文件中</em
浏览 3提问于2018-04-02得票数 2
1回答
背景
Python脚本定期查询API并添加到这个CSV中。为此，CSV被加载到一个dataframe中，要添加的数据被加载到一个dataframe中。时间戳列是每个数据的索引。有时在更新CSV时，由于一些我不知道的原因，CSV</e
浏览 1提问于2018-01-09得票数 0
回答已采纳
3回答
我有一个非常大的数据帧另存为gzip文件。在保存数据之前，还需要对其进行大量操作。您可以尝试将整个gzip数据帧转换为文本格式，将其保存到变量中，解析/清理数据，然后通过pandas.read_csv()保存为.csv文件。然而，这是非常耗费内存的。我想逐行读取/解压缩这个文件(我认为这将是最节省内存的解决方案)，解析它(例如，使用正则表达式re或pandas解决方案)，然后<e
浏览 0提问于2016-08-12得票数 0
我有一个有2列的pandas.DataFrame。第一列是一个简单整数，第二列是长度为50的numpy.array。我想将这两列写入CSV文件，但当我使用.to_csv()并在Excel中打开该文件时，只有一部分值会出现并可访问。长度是可变的，在Excel中打开它时，我似乎得到了一个字符串长度相同的列(或多或少)。pandas.to_csv()是否将某种可视解释写入</em
浏览 1提问于2016-04-27得票数 1
回答已采纳
2回答
从TDMS文件追加数据
、、、
我有一个文件夹TDMS文件(也可以是Excel)。这些文件存储在5 MB的包中，但都包含相同的数据结构。不幸的是，行中没有绝对时间，时间戳以如下格式隐蔽地存储在列" timestamp“中 “星期二。17.11.2020 19:20:15” 但现在我想加载每个文件，并将它们一个接一个地绘制在同一张图中。对于一个文件，这不是问题，因为我只是将文件的索引用于
浏览 54提问于2020-11-26得票数 0
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
