如何避免在将数据帧写入CSV文件时生成crc文件和成功文件？

文章/答案/技术大牛

发布

1回答

pyspark

我正在尝试使用以下代码df.repartition(1).write.csv('path',sep = ',')将数据帧保存到CSV文件中，然后在csv文件旁边还有其他生成的文件，如以下代码片段所示如何避免在不生成CSC文件的情况下将df保存到<em

浏览 63提问于2019-10-08得票数 2

1回答

如何避免/禁用.crc文件编写csv文件的火花？

r、csv、amazon-s3、sparklyr

我使用spark_write_csv函数将火花数据帧作为csv文件写入本地文件系统。在输出目录中，每个部件文件有一个.crc文件。我正在寻找任何函数或属性的Hadoop/火花，以避免生成这些.crc文件。flights_tbl<-copy_to(sc,flights,"flights&

浏览 0提问于2018-07-05得票数 1

1回答

我想在R中输出以下数据，我想保留原名，我知道如何简化它，我认为lapply()不起作用。write.csv(weekly_data$NO_2005_2011_all_site,'Weekly_NO_2005_2011_all_site.csv',row.names = FALSE) write.csv$NO2_2005_2011_all_site,'Weekly_NO2_2005_2011_all_site.csv',row.names = FAL

浏览 6提问于2022-07-25得票数 -2

1回答

如何在单个工作表上排列输出dfs

python、pandas

我有3个数据帧，我希望所有的df输出在一个工作表上第一个df应该从C2单元开始，第二个df应该从H2单元开始，第三个df应该从C8单元开始。附上了的图像。

浏览 20提问于2020-06-01得票数 0

1回答

使用pandas导出和索引csv文件

python、pandas、dataframe、indexing

我已经创建了一个带有列名的csv文件，并使用pandas库保存它。这个文件将用于创建一个历史记录，其中的行将在不同的时刻逐个计费……为了将行添加到先前创建的csv中，我要做的是将记录转换为模式，然后使用to_csv()选择DataFrame = 'a‘作为参数，以便将此记录附加到现有文件这里的问题是，我希望每次添加新行时，文件中都会自动生成索引和索引。我已经知道当我将这个

浏览 8提问于2020-01-06得票数 0

1回答

如何在不重复列标签的情况下将多个数据格式写入同一个工作表

pandas、xlsxwriter

关于将dataframe数据写入文件，我有两个问题：我的程序对数据的许多分组行生成摘要统计信息，并将它们保存到StringIO缓冲区中，该缓冲区在完成时写入我的output.csv文件。但是，困扰我的是CSV文件是如何对写入缓冲区并顺便写入我的CSV文件的每个汇总统计<em

浏览 3提问于2017-04-01得票数 1

回答已采纳

3回答

如何在保存DataFrame的同时避免生成crc文件和成功文件？

json、apache-spark、spark-dataframe

我使用下面的代码将星星之火DataFrame保存到JSON文件.part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8.crcpart-r-00001-704b5725-15ea-

浏览 13提问于2015-12-20得票数 30

回答已采纳

1回答

pandas:具有保留列顺序的to_csv追加模式

pandas

我正在使用：将多个pandas数据帧逐个写入CSV文件。如何确保新的数据帧</e

浏览 21提问于2018-08-02得票数 0

1回答

使用purrr::map将多个数据帧写入csv-文件

r、csv、purrr

问题：dfs <- list(iris,不起作用的是：dfs %>% 我希望此位将正确地将<

浏览 1提问于2017-11-28得票数 5

回答已采纳

2回答

如何编写一个for循环，将多个csv文件读入R，并对数据进行子集，从而为ggplot创建干净的数据帧？

r、loops、subset、gsub、assign

我正在尝试在r中设置一个for循环，这样我就可以将函数或计算添加到csvs列表中，以便稍后为ggplot或stat分析生成数据帧。(我目前已经安装了tidyverse、dplyr和ggplot2 )。现在，我只想对csvs进行子集，然后根据子集数据创建一个数据帧。我使用for循环成功地将多个csvs读取到单独的数据帧中，方法是设置一个工作目录，创建一个csvs列

浏览 0提问于2019-02-26得票数 0

1回答

将文件写入blob容器时，在根容器中创建空文件

scala、azure-blob-storage、databricks、azure-databricks

将数据帧中的数据写入路径path =根容器/容器1+ "/“+ fileName df.repartition(1) .write .format("com.databricks.spark.csv""header"，"true") .option(”分隔符“，分隔符).option(”引号“，"\u0000") .mode(SaveMode.Overwrite) .save(路

浏览 14提问于2020-10-29得票数 0

1回答

将大量数字从R导出到csv

r、csv、export-to-csv

在尝试将R数据帧导出到csv文件时，我遇到了一个奇怪的问题。数据帧包含一些大数字，但是当它们写入csv文件时，它们会“丢失”小数部分，而不是写入小数部分。但并不像人们所期望的那样，而是像这样：假设3224571816.5649是R中的正确值，当写入csv时，它变成32245718165649

浏览 11提问于2019-03-22得票数 0

1回答

在R编程语言上读取和设置CSV文件

r、csv、statistics

我想在这里澄清我对将文件转换为CSV和读取它的理解。让我们使用来自R的数据集，标题为longley。write.table(d1, file="", sep="1,16", row.names=TRUE, col.names=TRUE) 这是不是已经变成了一个数据框，或者我在这里遗漏了什么现在假设我想要读取这个CSV<

浏览 2提问于2015-09-20得票数 2

2回答

如何在pandas中使用read_csv读取时删除索引列

python、python-3.x、pandas、csv

我们正在尝试使用pandas在python中读取一个简单的csv文件示例，如下所示-打印(Df)我们需要删除下面红色突出显示的索引列的df -我们已经尝试了多种传递参数的方法，但没有成功。

浏览 0提问于2020-08-13得票数 0

1回答

如何合并多个csv文件并将数据复制到现有的txt文件中

python、pandas、csv、shutil

我有多个文件夹，每个文件夹包含4个csv文件，每个文件包含一列数据。对于每个文件夹，我希望将这些文件合并在一起，以使新的dataframe将从这些csv文件中携带4列。接下来，我想将这4列复制到一个已有3列的txt文件中。因此，这4列(来自csv文件)将放置在现有列的旁边。此操作将针对多个<e

浏览 1提问于2019-10-22得票数 0

9回答

Spark -如何在没有文件夹的情况下编写单个csv文件？

csv、apache-spark、export-to-csv

假设df是Spark中的一个数据帧。将df写入单个CSV文件的方法是这会将数据帧写入名为name.csv的文件夹中包含的CSV文件，但实际的<e

浏览 8提问于2017-04-27得票数 38

2回答

使用dask合并csv文件

python、dask

我正在使用dask读取5个大的(>1 GB) csv文件，并将它们合并(类似SQL)到一个dask数据帧中。现在，我正在尝试将合并后的结果写入单个csv。我在dask dataframe上使用compute()将数据收集到单个df中，然后调用to_csv。但是，compute()在读取所有分区的数据时速度很慢。我尝试在dask df上直接调用to_c

浏览 5提问于2017-03-23得票数 4

1回答

PySpark数据帧写入orc不允许使用连字符的列名

dataframe、pyspark、apache-spark-sql、illegalargumentexception、orc

我有一个列名中包含连字符的csv文件。我可以成功地将文件读取到数据帧中。然而，当将df写入orc文件时，我得到一个错误，如下所示-当我通过删除连字符来重命名列时，我可以将数据帧写入

浏览 32提问于2021-02-13得票数 0

4回答

将数据帧写入/读取到csv* -最终形状- Python时出现问题*

python、pandas、dataframe、csv、file

我正在将一个大型数据库读入多个数据帧。每次都有效。所以我有单独的数据帧。然后，我将每个数据帧写入csv文件。最初它有34列。在此之后，我将csv文件读取到一个新的数据帧中，现在我有35列。我这样做是为了写入csv文件： df.to_

浏览 29提问于2020-08-18得票数 1

回答已采纳

2回答

CSV python的Dataframe索引(仅限)

python、csv、pandas、dataframe

我正在尝试将一些数据转换为pandas数据帧。不知何故，数据帧原来是空的。"33" "37" "asd7"]Columns: []我想要将数据帧写入csv<

浏览 2提问于2014-11-17得票数 2

点击加载更多