压缩Python Dataframe中的文件

文章/答案/技术大牛

发布

3回答

我能和熊猫一起加入压缩的溪流吗？

python、csv、pandas、gzip

我知道，通过将compression='gzip'参数传递给pd.to_csv()，我可以将DataFrame保存到压缩的CSV文件中。my_df.to_csv('my_file_name.csv', compression='gzip') 我还知道，如果我想将DataFrame附加到现有CSV文件的末尾，我可以使用mode='a'，如下所示my_df.to_csv(&#x

浏览 10提问于2016-07-29得票数 14

1回答

python、dataframe、python-3.7

我已经在Python中使用panda创建了一个数据帧。dataframe使用来自名为filepath和filename的.csv文件中的两列，将它们连接起来，然后完整输出。我尝试使用此输出来压缩有问题的文件名，但它不能正常工作，只是覆盖了文件。].map(str),df["Filename"].map(str))] for row in rows:

浏览 10提问于2021-02-11得票数 0

1回答

如何使用Python / Pyspark合并数据库中的数据

python、pandas、pyspark、databricks

我正在使用Databricks笔记本来提取gz压缩的csv文件并加载到dataframe对象中。我对下面的第2部分有困难。 df1 = spark.read.option("header",True).option("delimiter", "|").csv("dbfs

浏览 5提问于2021-02-10得票数 1

回答已采纳

1回答

Azure web服务部署是如何在本地工作的？

python-3.x、azure、pickle、azure-machine-learning-studio

Azure ML提供了用于数据集管理和模型部署的客户端库(例如，用于Python的azureml )。据我所知，自定义算法将被序列化为Pickle文件，但我不确定之后会发生什么。如果我有一个具有深度NN体系结构的自定义模型，并设置了一个用于培训的web服务和另一个用于得分的web服务，那么我还需要开发该模型的机器来运行web服务吗？我在azureml文档中发现了这一点，这很有帮助：如果函数没有与其关联的源文件(例

浏览 0提问于2018-07-05得票数 1

回答已采纳

1回答

在Azure中使用时间戳访问blob文件

azure、blob、azure-blob-storage

我想访问一个blob文件，这个blob文件是从azure服务以及ilearner和csv文件中生成的。问题是，该文件是以guid作为其名称自动生成的，并且没有响应提到该文件的存在。我知道文件是生成的，因为我可以通过azure门户访问它。我想自动访问该文件，唯一可能的方法是使用在同一实例中创建的其他文件的时间戳。

浏览 4提问于2017-08-18得票数 1

1回答

Azure ML Studio是否支持将Excel文件作为数据集导入？

azure、ml-studio

我正在使用Azure ML Studio，并尝试将excel文件作为数据集上传。然而，我没有得到它的选项。我是不是遗漏了什么？

浏览 6提问于2019-08-03得票数 0

2回答

熊猫CSV对Django的反应

python、django、pandas

我从数据库中生成了一个DataFrame。如何提供下载CSV的响应？基本上，response = HttpResponse(content_type='text/csv')我已经有了一个csv.writer的工作版本，但出于明显的原因，这不是一个DataFrame。我不清楚如何才能将df转变成

浏览 0提问于2019-02-17得票数 9

回答已采纳

1回答

创建一个带有2个CSV的Zip

python、csv、pandas、zip

data1 = {'isin':['isin1','isin2','isin3'],'ticker_QF':['ticker1','ticker3','ticker3']} df_QF = pd.DataFrameisin1','isin1','isin2','isin3'],'ticker_BBG':['ticker

浏览 3提问于2017-02-01得票数 3

回答已采纳

2回答

如何将像b'PK\x03\x04\x14\x00\x08\x08\x08\x009bwR\x00\x00\x00\x00\x00\x00\x00这样的字节存储到python中的dataframe或csv

python、python-3.x、google-cloud-storage

我请求一个URL并获得一个以字节为单位的返回。我想将它存储在一个数据帧中，然后存储到CSV。上面的代码将输出存储在CSV中，但是得到了下面的错误。我的最终目标是将其存储在CSV中，然后将其发送到google。并创建一个google大查询表。

浏览 3提问于2021-03-27得票数 1

回答已采纳

2回答

在Azure ML Studio中将熊猫更新到0.19版

python、pandas、azure、anaconda、azure-machine-learning-studio

我真的很想访问一些更新的函数在熊猫0.19，但Azure ML工作室使用熊猫0.18作为Anaconda 4.0包的一部分。有没有一种方法来更新在“执行Python脚本”组件中使用的版本？

浏览 5提问于2017-09-14得票数 5

回答已采纳

1回答

Python极读压缩CSV

python-polars

如何将压缩的csv文件读入python polars DataFrame？当前唯一的解决方案是将整个程序写入内存，然后将其传递到pl.read_csv中。

浏览 1提问于2022-03-26得票数 0

1回答

如何在python中以dataframe格式同时打开位于不同子文件夹中的多个压缩excel文件(.gz文件)？

python、python-3.x、python-2.7、python-requests、ipython

我是python的新手，所以有一个问题。我在不同的子文件夹中有多个压缩的(.gz)excel文件，我试图使用os.listdir函数在python中读取数据帧格式的所有压缩的excel文件，但它只显示名称。我面临的问题是读取那些压缩的DataFrame格式的excel

浏览 33提问于2020-07-09得票数 0

1回答

火花读取多个CSV文件，每个文件有一个分区

csv、apache-spark、apache-spark-sql

假设在同一个目录中有多个CSV文件，这些文件都共享相同的模式。/tmp/data/myfile1.csv，/tmp/data/myfile2.csv，/tmp/data.myfile3.csv，/tmp/datamfile4.csv 我想将这些文件读入星火DataFrame或RDD，我希望每个文件都是DataFrame的一部分。

浏览 0提问于2018-10-30得票数 5

2回答

用Azure ML Python脚本读取多个CSV文件

python、csv、azure、azure-machine-learning-studio

我有4个csv文件，它们是azure ML中python脚本的输入，但是小部件只有2个数据输入，第三个输入用于zip文件。我试图将csv文件放在压缩的文件夹中，并将其连接到脚本的第三个输入，但这也不起作用：我想知道如何在python脚本中读取多个csv文件。

浏览 5提问于2017-07-12得票数 1

回答已采纳

1回答

在下面的文件夹/目录中找到一个具有zip的文件名，并将其解压缩到同一个目录中的一个新文件夹中？

python、python-3.x、file-format、shutil、os.walk

我使用os.walk()将文件列表发送到DataFrame。现在，我想从DataFrame中的文件列表中提取压缩文件夹。DataFrame file_1.pdf filefile_3.7z \file_3.7z file_4.tar file_4 tar C

浏览 3提问于2019-11-08得票数 0

1回答

连接并加载多个文件

python、dataframe、import-from-excel

我有以下代码(在这里发布，将多个excel文件导入python大熊猫并将它们连接到一个dataframe中)并尝试使用它，但它一直在标记以下错误：for f in glob.glo

浏览 10提问于2022-01-25得票数 0

回答已采纳

1回答

Python:将特殊文件解压缩到内存中，并将它们放入DataFrame中

python、numpy、unzip、zip

我被用Python编写的代码困住了，我是个初学者，也许真的很容易，但我就是看不见。任何帮助都将不胜感激。因此，预先谢谢你:) 问题是:我必须将一些具有特殊扩展名.fen的特殊数据文件读入熊猫，DataFrame.This、.fen文件在压缩文件.fenx中，其中包含.fen文件和.cfg配置文件。在我编写的代码中，我使用get文件库来解压

浏览 3提问于2017-04-06得票数 1

回答已采纳

2回答

在Azure ML Studio上部署自定义模型

azure、machine-learning、azure-machine-learning-studio

在Azure ML Studio中，我们可以选择一些内置的ML模型，如分类、回归等，我们可以将这些模型拖放到工作流中。我的问题是，我能否上传我在Python系统上本地构建的自定义ML模型，并将其添加到工作流中？

浏览 1提问于2019-08-14得票数 1

回答已采纳

1回答

在fastText机器学习工作室上安装Azure Python库

python、azure、fasttext

我想在Azure ML Studio上安装Facebook C++库的Python 包装器。此库已在我的笔记本电脑上安装并正常工作。我尝试按照Azure堆栈溢出线程中的说明进行上传，但没有成功。我的“执行Python脚本”中的代码非常简单:我只是解压缩并加载我在本地机器上安装的fastText包，然后调用fastText模块的"train_supervised“属性上<

浏览 0提问于2019-06-11得票数 0

7回答

使用Python编写Parquet文件的方法？

python、apache-spark、apache-spark-sql、parquet、snappy

我很难找到一个允许使用Python编写Parquet文件的库。加分，如果我可以使用Snappy或类似的压缩机制，连同它。到目前为止，我发现的唯一方法是使用带有pyspark.sql.DataFrame Parquet支持的星火。我有一些脚本，需要编写Parquet文件，而不是火花作业。有没有不涉及pyspark.sql的用Python编写Parquet文件的方法？

浏览 7提问于2015-10-05得票数 39

回答已采纳

点击加载更多

我能和熊猫一起加入压缩的溪流吗？