Python -使用拆分记录清理CSV文件

文章/答案/技术大牛

发布

1回答

python、python-3.x、csv

我有一个带分隔符的文件，其中一些字段包含行终止字符。它们可以是LF或CR/LF。行终止符导致记录在多行上拆分。我的目标是读取文件，删除行终止字符，然后写出一个带引号的分隔文件。Added further note:LF with open(raw_d

浏览 20提问于2020-08-31得票数 0

回答已采纳

1回答

用户友好的数据清理

user-interface、csv、data-cleaning、user-friendly

我觉得问这个问题有点傻，但我需要一个用于数据清理的GUI工具。我们所有的数据都在CSV文件中，其中大多数都有大约10列和< 2,000行。清理包括删除一些行，添加其他几行，并按列值(在本例中为d

浏览 0提问于2013-05-28得票数 0

回答已采纳

1回答

对多个csv文件重复相同的进程

python、loops、csv

我是Python的初学者。我有大约1000个CSV文件(1.csv，2.csv.1000.csv)。每个CSV文件有大约3,000,000,000行和14个变量。我希望首先对每个CSV文件使用相同的过程来清除每个CSV文件中的数据：按排序日期计算C，如果C中一天的记录数大于50，则将其删除。接下来，将清理</

浏览 0提问于2018-12-23得票数 1

回答已采纳

1回答

将文件拆分为x文件，其中文件名被编号。

bash、split

在bash脚本中，如何将大型文本/csv文件拆分为n个文件(m行)；产生的文件名需要从1开始编号，然后递增1，1.999.

浏览 3提问于2012-10-21得票数 0

回答已采纳

4回答

如何组合、分离、测试和训练数据进行数据清洗？

python、dataset、pandas、dataframe、python-3.x

我正在开发一个ML模型，其中我已经在两个文件test.csv和train.csv中获得了数据。我想对两个文件一起执行数据清理，将它们连接起来，然后将它们分开。我知道如何连接2个数据文件，但是在数据清理之后，我将如何分离这两个文件？请帮我完成密码。码train = pd.read_csv('train.<em

浏览 0提问于2020-09-12得票数 3

2回答

使用pandas.read_csv从具有python分隔符的csv中读取内容

python、python-3.x

我想从csv文件中读取内容。以下是该文件的格式： SOURCE_TYPE|SOURCE_QUERY|TARGET_QUERYFROM (SELECT *,ROW_NUMBER() OVER (PARTITIONselect * from db.cust_auth where concat(snapshot_year_month,snapshot_day)='20180131' 我想要分隔字符串列表中的所有值，使用的分隔符是"|“，即 SOURCE_TYPE = H

浏览 29提问于2019-02-13得票数 0

回答已采纳

2回答

如何将多个csv文件合并为单个csv文件

java、csv、join、merge

我有一个需求，我需要将多个CSV文件合并为一个csv文件。我试着在谷歌上搜索，在CSVWriter或SuperCSV上找到了一些信息，但我找不到。我从数据库中提取了10,000条记录，并创建了10个csv文件。(MyCSV_1-1000.csv、MyCSV_1001-2000.csv、MyCSV_2001-3000等)每个cs

浏览 1提问于2014-04-05得票数 3

1回答

使用python清理csv文件中的数据

python、pandas、csv、data-science、data-cleaning

嗨，我正在处理一个有几列的csv文件。，)对它们进行拆分，现在每次拆分都有一列。一些记录如下所示-美国华盛顿州金县，东北130街23098号，三部曲，联合山-新奇山庄，邮编98053基本上，并不是每条记录都包含这10种信息，而且顺序也不一定相同。清理这类数据的最佳方法应该是什么？我想

浏览 2提问于2017-10-14得票数 0

2回答

使用NiFi将数据加载到Hive中的最佳方法是什么？

hdfs、hiveql、apache-nifi、data-ingestion

我得到一个CSV文件，然后使用SplitText将传入的流文件拆分为多个流文件(按记录拆分记录)。然后使用ConvertToAvro将拆分的CSV文件转换为AVRO文件。之后，我将AVRO文件放入HDFS中的一个目录中，并使用ReplaceText + PutHiveQL处理器触发"LOAD DATA

浏览 1提问于2017-02-07得票数 1

1回答

JMeter将CSV中的所有记录插入到sql数据库中

mysql、csv、jmeter、bulkinsert

我有大量的数据来自master DB，我正在通过应用一些逻辑来清理数据，并将其读写到CSV中。这是一个超过100K的大型数据集。我正在使用beanshell来写入CSV，这是非常快的。理想情况下，我不希望有CSV参与，并直接写入JDBC DB，但这可能会有一个问题，那就是我需要添加mySQL步骤来调用它的100k记录。因此，我正在考虑仍然写入CSV，并希望从那里将记录拆分为1000或2000个集合，以减少SQL查询的负载。注意:我不能

浏览 4提问于2020-01-18得票数 0

1回答

将大型CSV拆分为包含每行的多个CSV

python、pandas、csv

我使用Pandas将大型csv拆分成多个csv，每个csv包含单行。我有一个有一百万条记录的csv，使用下面的代码需要很长时间。例如:在上述情况下，将创建100万个csv。任何人都可以帮助我如何减少拆分csv的时间。for index, row in lead_data.iterrows(): row.to_csv(row['lead_id']+&quo

浏览 21提问于2019-02-02得票数 0

1回答

Grep查找字符串，尽管该字符串在文件中不可见。

python、shell、csv、hive、grep

我有一个CSV文件，需要导入到我的hive表中。然而，CSV文件在字符串之间嵌入了换行符。由于文件很大，我无法使用文本编辑器来替换'\n‘字符。我编写了一个python程序来帮助我清理文件。我从CSV文件中读取每一行，如果遇到任何换行符，我就用空格替换它。下面是我的节目。当我grep字符串上的文件(我知道它正在打破记录)时，准确的行会被打印在控制台中，

浏览 0提问于2018-04-06得票数 1

回答已采纳

2回答

如何在tensorflow中解析csv文件中带换行符的字符串？

python、csv、parsing、tensorflow

官方的tensorflow教程建议通过使用tf.TextLineReader逐行读取文件，然后使用tf.decode_csv ()来解析csv文件。但是，这不适用于包含带换行符的字符串的csv记录，因为这会导致单个csv记录被阅读器拆分。解析这些类型的文件的最佳方法是什么？

浏览 2提问于2018-05-01得票数 0

3回答

CSV解析时跳过空行

java、csv

我目前正在从URL中拉出一个CSV文件并修改它的条目。我目前使用StreamReader来读取CSV的每一行，并将其拆分为一个数组，在数组中我可以根据每个条目的位置对其进行修改。CSV是从电子表单提供者生成的，其中特定的表单条目是多行字段，用户可以在其中添加多个注释。但是，当用户输入新笔记时，他们会用一个回车行分隔每个笔记。CSV示例： "FName","LName","Email","Note 1:

浏览 0提问于2015-12-06得票数 0

1回答

如何实现AWS中数据清洗的自动化

amazon-web-services、aws-glue、data-cleaning

我有一个.csv文件，其中包含13家有列的不同商店的销售数据：数据列的格式为"day - mm/dd/yyyy“，需要清理。我在Python (朱庇特笔记本)中有代码，它清理数据并将其分割成13家商店的数据集--因此清理部分就被处理了。磁盘上的文件为721 KB。如何使清理过程自动化，以便当我以相同的专栏格式(只是有更多的销售

浏览 2提问于2022-07-09得票数 -1

1回答

用Python清理数据集

python、string、csv、nlp

我是Python新手。我有一个CSV文件，其tweet条目的格式如下： data = pd.read_csv(arg, sep=',') 现在，我想清理CSV<em

浏览 2提问于2017-03-11得票数 0

1回答

900000岁以上的熊猫失败了

python、pandas

我的csv文件包含600万条记录，我正试图使用skiprows将它分割成多个较小的文件。我的Pandas版本是'0.12.0‘，代码是尝试过csv拆分器，但它对第

浏览 3提问于2013-11-30得票数 6

1回答

用定界符Python从列中提取文本

python、pandas、csv

到目前为止，我只使用powerquery来清理和自动化文件，我想加强我的游戏，并转移到python，但我有一些问题，没有人要求，所以我来寻求帮助，我是完全陌生的python和学习基于youtube视频和为了学习，我一直在使用样例csv文件进行一个项目，该文件涵盖了几个日期，并且有多个具有不同数据的列，我要做的是根据"DateFull“列上的日期将文件分割成不同的csv，该列的日期为yyyy

浏览 2提问于2020-11-04得票数 1

回答已采纳

4回答

Python脚本可以读写的(CSV)文件大小是否有限制？

python、ms-access、csv、odbc

明天我将编写一个小Python脚本，首先将所有数据从一个旧的MS数据库检索到一个CSV文件中，然后在数据清理、咀嚼等之后，将数据导入到Linux上的mySQL数据库中。我打算使用pyodbc来连接到MS Access db。我将在Windows环境中运行初始脚本。的记录数量是否值得关注？是否有更好的文件格式(而不是CSV)? 我之所以选择CSv，是因为它非常简单和简单(而且我是

浏览 6提问于2010-10-18得票数 1

回答已采纳

2回答

当我从Python执行Linux拆分文件命令时，文件被拆分了，但是数据被转换了

python、linux、python-2.7、subprocess

我试图根据Python中的行数执行Linux文件拆分命令。下面是代码p = subprocess.Popenp.stdin.close()print "Stderr:", p.stderr.read(

浏览 4提问于2022-09-08得票数 0

回答已采纳

点击加载更多