Python Spark-如何将空的DataFrame输出到csv文件(仅输出头)？
在Python Spark中，可以使用以下步骤将空的DataFrame输出到CSV文件，并且只输出表头：
- 首先，导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StringType- 创建一个SparkSession对象：
spark = SparkSession.builder.appName("Empty DataFrame to CSV").getOrCreate()- 创建一个空的DataFrame，只包含表头：
schema = StructType().add("column1", StringType()).add("column2", StringType())
empty_df = spark.createDataFrame([], schema)- 指定输出的CSV文件路径：
output_path = "path/to/output.csv"- 使用
coalesce函数将DataFrame的分区数设置为1，以确保输出为单个文件：
empty_df = empty_df.coalesce(1)- 使用
write方法将DataFrame写入CSV文件，并设置header参数为True以输出表头：
empty_df.write.option("header", "true").csv(output_path)完整的代码示例如下：
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StringType
spark = SparkSession.builder.appName("Empty DataFrame to CSV").getOrCreate()
schema = StructType().add("column1", StringType()).add("column2", StringType())
empty_df = spark.createDataFrame([], schema)
output_path = "path/to/output.csv"
empty_df = empty_df.coalesce(1)
empty_df.write.option("header", "true").csv(output_path)这样，空的DataFrame的表头就会被输出到指定的CSV文件中。请注意，这里假设你已经安装并正确配置了Spark环境，并且已经导入了必要的模块和函数。
相关·内容
0回答
Python Spark-如何将空的DataFrame输出到csv文件(仅输出头)？
csv、apache-spark、pyspark、spark-dataframe
我想将空数据帧输出到csv文件。我使用以下代码：但是由于数据帧中没有数据，spark不会将头文件输出到csv文件中。df.schema.fields] df.repartition(1).
浏览 2提问于2017-11-29得票数 7
1回答
python- logistic回归，保存预测概率&对csv的预测
python、csv、pandas
我对数据分析和python很陌生。我一直在遵循关于泰坦尼克号幸存者的这一联系所显示的逻辑回归：
我正在使用我自己的非泰坦尼克号数据集。在示例的末尾，我希望将结果导出到csv文件。我做了一个小小的修改，这让我陷入了困境。除了预测之外，我还显式地生成了预测的概率，我也希望将这些概率导出到csv文件。log_model.predict_proba(X=test_fea
浏览 3提问于2016-12-02得票数 1
回答已采纳
2回答
将kdb表保存到数据帧，然后将数据帧保存到csv。是否将空值和字符串值错误地输出到csv？
pandas、export-to-csv、kdb、qpython
我将kdb表保存到dataframe，然后将dataframe保存到csv。但是，如果我打印csv文件(Dataframe)，则可以执行此操作；空值显示为“b”，所有其他字符串值显示为“b' string‘”。运行Python 3.7、pandas 0.24.2和qpython 2.0.0。', encoding='utf-8')
我希望KDB表能够正确地输出到csv，其中nu
浏览 21提问于2019-07-30得票数 1
回答已采纳
1回答
从Azure函数将pandas DataFrame写入Azure Blob存储
python、pandas、azure、azure-functions、azure-blob-storage
我正在编写一个简单的Azure函数来读取输入blob，从它创建一个pandas DataFrame，然后将它作为CSV再次写入Blob Storage。我有下面给出的代码来读取文件并将其转换为DataFrame， 导入日志作为pd导入io导入pandas 将azure.functions作为函数导入 def main(inputBlob: func.InputStream):
logging.info(f"Python blob trigger fun
浏览 24提问于2021-09-02得票数 0
回答已采纳
2回答
为什么“头”需要“()”而“形状”不需要？
python、pandas、dataframe、methods
在下面的代码中，我将一个csv文件导入Python的熊猫库并显示前5行，并查询熊猫数据的“形状”。import pandas as pddata.head() #returns the first 5 rows of the dataframedata.shape # displays the # of rows and # of columns of
浏览 4提问于2017-10-07得票数 9
回答已采纳
1回答
向CSV出口Pandas Dataframe
python、pandas、export-to-csv
我有一个非常简单的函数，它使用最新版本的pyside2和python3.7将sqlite导出到我的pyside2项目中的熊猫dataframe到csv。('database.csv', index=False)name = QFileDialog.getSaveFileName(self, "Save"
浏览 3提问于2020-05-18得票数 0
回答已采纳
1回答
Python基于块中的列名将数据导出到CSV
python、pandas、export-to-csv
我正在处理Python中的一些数据，大约有500万行。我需要根据列中的特定值将这些数据导出到csv文件中。我还希望确保没有超过100万行的文件。如果文件超过100万行，python将创建另一个csv文件来存储其余数据。 我尝试了下面的代码来根据列'col‘中的列值导出文件，但我不确定如何将每个文件限制
浏览 12提问于2019-06-12得票数 0
回答已采纳
1回答
熊猫-找到一些特定的行并将过滤后的数据输出到一个新的CSV文件中。
python、pandas、csv、dataframe
我有一个csv文件，有15列和大约17000行。下面是我的python代码：x = input('Please input the name: ') print(df.iloc[[i-1, i, i+1]])
我想
浏览 0提问于2018-11-06得票数 1
回答已采纳
2回答
如何将python结果保存为excel xlsx
python、excel、txt
下面的代码读取.txt文件并打印结果，但我需要将结果保存为.xlsx，我搜索了互联网，但没有得到任何解决方案，有人能帮我吗？if file.endswith(".txt"): read_text_file(file_path)"179026_1.jpg" "179026_3
浏览 6提问于2021-12-18得票数 2
1回答
将熊猫DataFrame写入unicode文本文件时遇到的问题
python、unicode、pandas
我已经成功地使用Microsoft对这个特定的文件进行了原型化，并注意到如果该文件被编码为utf-8文件，则该网站拒绝将该文件作为unicode文本文件。从文本编辑器(使用Windows记事本)，如果我保存文件仅使用unicode编码在下拉框，我要上传到的网站接受该文件很好。程序的最后一行将DataFrame导出到文本文件：
coa1.to_<
浏览 1提问于2015-04-01得票数 3
回答已采纳
1回答
未获得python中MSSQL存储过程的结果输出表
python、sql、sql-server、csv、pymssql
我的python代码基于：
python中的查询3--执行存储过程2，它是table1的updat
浏览 0提问于2018-08-03得票数 0
2回答
将python Dataframe转换为Matlab文件
python、matlab、dictionary、dataframe、tuples
我最初使用panda.read_csv导入了一个txt (EEG信号)：
MyDataFrame = pd.read_csv("data.txt",sep=';',decimal='.')，data.txt是一个带有标签的2D数组。这将创建一个看起来类似于的dataframe。为了将其转换为.mat，我尝试了，其中的想法是将dataframe转换为列表字典，但是在尝试了该解决方案的每个方面之后
浏览 0提问于2018-02-22得票数 2
回答已采纳
1回答
如何将Python 'None‘类型转换为'NULL’类型
python-2.7、vertica
如何将Python 'None‘类型转换为'NULL’类型？我正在使用模块查询Vertica DB，并将结果集写入CSV文件，其中Python模块将NULL插入为None。因此，当我将这个CSV文件导入到Vetica DB中时，我得到的是‘空字符串，在其中我希望它是空的。我猜这里的问题是因为Python类型。我怎么解决这个问题？下面是将数据导出到</em
浏览 0提问于2018-06-05得票数 2
回答已采纳
3回答
我有这个xml文件，它想要将内容转换为python中csv文件的数据帧： select(-min, -avg, -sum) %>% })
我需要用python
浏览 157提问于2018-08-08得票数 5
回答已采纳
9回答
将Python列表列表写入csv文件
python、file、csv、file-io、python-2.7
我有一个长长的列表，列表如下例如，列表中的值具有不同的类型-- float、int我是否将其写入csv文件，以便我的输出csv文件如下所示1.2,werew,4.1.4,qew,2
浏览 590提问于2012-12-26得票数 211
回答已采纳
7回答
在pandas中输出数据框中所有列的数据
python、pandas
我有一个名为params.csv的csv文件。我打开ipython qtconsole并使用以下命令创建了一个熊猫dataframe：paramdata = pandas.read_csv('params.csv',names=paramnames)In[35]: paramdata<c
浏览 2提问于2012-07-06得票数 122
回答已采纳
3回答
如何在熊猫DataFrame中存储行名和列索引？
python、pandas
我有一个带有命名行和列索引的DataFrame：import pandas as pd
C = pd.Index(["col0", "col1", "col2"], name="cols")
df = pd.DataFrame(
浏览 2提问于2016-01-27得票数 5
回答已采纳
1回答
如何使用用户输入来选择行列和返回单元格的值？
python、csv、pandas、input、lookup
我有一个从csv文件构建的pandas数据帧。然后，我尝试执行pandas.loc，以返回该单元格值。如何将它们的输入与我的行列相匹配，并仅返回该单元格的原始值？在Python中是不可能的？到目前为止，我的程序在确定要查找哪个csv表以及如何将输入分配给变量方面工作得很好。这是对图表查找的实际传递不起作用。下
浏览 2提问于2017-04-18得票数 1
1回答
当使用WHERE子句时，为什么pandas从这个sql查询返回一个空的dataframe？
python、sql、sql-server、python-3.x、pandas
我有一个python程序，它使用pandas将它们写入csv，csv是我用作文件夹名的列值之一。我的一个列中包含日期，该列仅转换为2018-10-31格式的日期，我需要该程序仅为今天生成文件。当我使用CAST(GETDATE() AS DATE)或CONVERT(DATE，GETDATE())添加AND子句时，它返回一个空的dataframe，当我删除时，它工作得很好，但构建了一个
浏览 0提问于2018-11-01得票数 0
1回答
使用psql的\copy命令时出现“没有这样的文件或目录”的错误信息
postgresql
对于这个psql的\copy命令，我一直收到错误消息“没有这样的文件或目录”：你有什么意见建议
浏览 1提问于2012-10-03得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
