如何使用Perl计算大型CSV文件中的行数？

文章/答案/技术大牛

发布

6回答

perl、csv、large-data-volumes

在工作中，我必须在Windows环境中使用Perl，并且我需要能够找出一个大型csv文件包含的行数(大约1.4 at )。你知道如何用最少的资源浪费来做到这一点吗？谢谢 PS这必须在Perl脚本中完成，我们不允许在系统上安装任何新模块。

浏览 0提问于2009-04-15得票数 3

2回答

如何在Linux上查找目录中csv文件的总行数？

linux、csv、find、rowcount、wc

使用大型CSV文件进行数据分析时，我们通常需要知道位于特定文件夹中的所有csv文件的行数。但是在Linux中如何只用一个命令就能做到呢？

浏览 12提问于2018-02-26得票数 8

1回答

如何在不使用计数函数的情况下计算联接、筛选器或写入后获得的行数

pyspark

我正在使用PySpark连接、过滤并将大型数据写入csv。然而，计算行数意味着重新加载数据并重新执行各种操作。如何计算每个不同操作期间的行数，而不像使用df.count()那样重新加载和计算？我知道缓存函数可能是一个不重新加载和重新计算的解决方案，但是我正在寻找

浏览 5提问于2022-04-21得票数 0

4回答

如何在perl中检查带头的csv文件是否为空

perl、csv、perl-module

我有一个包含内容的csv文件xyz.csvxyz,12,ohio,7372829我需要解析csv文件并检查它是否是空文件，即它没有提供标头的值。空文件xyz.csv将只包含标题(标题no可以减少或增加)，例如decreased：增加：<

浏览 0提问于2012-09-06得票数 0

回答已采纳

1回答

如何在Cassandra中验证从一个keyspace的一个表复制到另一个keyspace中的表的数据？

validation、cassandra、datastax、cql、cassandra-2.0

我们正在将数据从一个键空间中的列族复制到同一数据中心中的另一个键空间。我们想要验证cf大小是否。复制的记录的数量与源cf的相同。有没有办法测量整个集群的cf大小？

浏览 0提问于2016-08-25得票数 0

2回答

如何计算两个文件中的行数

perl

我想问一下如何计算Perl中的行数。示例：ikhsankamal iqbalikramibnu问题是如何在Perl中计算2个文件中的所有行。如果我只想读取一个文件，我的代码是：这是我的data.t

浏览 1提问于2013-06-30得票数 0

2回答

使用Perl或Powershell，如何比较2个CSV文件并仅获得新行？

perl、powershell、csv、compare、diff

我正在使用 Perl模块比较两个以逗号分隔的大型CSV文件File1.csv和File2.csv。Perl程序是从.bat文件中调用的，我将结果放入了第三个文件Diff.csv中#!+\n//mg; 下面是我调用Perl脚本

浏览 53提问于2018-05-30得票数 2

回答已采纳

2回答

为什么我的散列大小(从csv)读取的值正好是行数的一半？

linux、perl、hash

我编写了一个简单的perl脚本来计算哈希中的值和/或键数，该值和/或键是从csv的内容中创建的。，用来计算行数。/bin/perl @csv2=<CSV2>; close <e

浏览 4提问于2016-08-11得票数 0

回答已采纳

4回答

C# CSV动态拆分

c#、.net、linq、csv、streamreader

我有多个1.5GB的CSV文件，其中包含来自服务提供商的多个客户端的计费信息。我正在尝试将大型CSV文件分割成更小的块，以便处理和格式化其中的数据。一个大的1.5GB CSV文件包含大约800万行数据(我以前使用过UltraEdit )来将粘贴剪切成更小的块，但是这已经变得非常低效率和耗时。另外，我不想在<em

浏览 1提问于2011-10-28得票数 3

回答已采纳

7回答

有效地将CSV的最后n行读入DataFrame

python、csv、numpy、pandas

有几种方法可以做到这一点：能用更简单的

浏览 26提问于2013-06-14得票数 27

回答已采纳

2回答

处理和生成Perl代码中的文件

perl、file、filenames

我有perl代码(称为aggregator.pl)，它通过命令从名为“testdata.csv”的文件中读取一些数据。open (F1,'>>testdata_aggregates.csv');$ perl aggrega

浏览 1提问于2014-04-16得票数 0

回答已采纳

2回答

使用熊猫有效地计算大型数据仓库的每个时间仓的值

python、pandas

我有多个大型数据文件(约3GB的csv文件，每行约1.5亿行)，其中包含Unix样式的时间戳和随机生成的观察ids。每个观察可以/将在不同的时间发生多次。为了分析观测的时间发展，我现在想要得到一个数据框架，其中包含每个观察id的列，以及一个可以更改的时间桶的行，例如1小时，如下所示： time_bin aabthssv vvvx7ths optnhfsa为此，我尝试创建一

浏览 4提问于2020-02-29得票数 0

回答已采纳

4回答

更快地读取csv文件

python、csv

我目前正在读入一个很大的csv文件(大约100万行)，使用中描述的命令，例如：with open('eggs.csv', 'rb') as csvfile: for row in spamr

浏览 1提问于2016-10-07得票数 0

2回答

在大型CSV文件中查找#行

python、pandas、csv、bigdata、dask

其目的是查找大型CSV文件中的总行数。我现在使用Python Dask来查找它，但由于文件大小约为45G，因此需要相当长的时间。带有wc -l的Unix cat似乎表现得更好。所以问题是- dask / pandas read_csv有没有什么调整，让它能更快地找到总行数？

浏览 16提问于2020-09-05得票数 1

3回答

无法在大型csv文本文件中加载

java

我正在尝试加载一个包含所有比特币交易数据的大型csv文件。首先，我试图计算数据的大小。它通过使用一个循环来实现这一点，该循环将“1”增加到大小，并在readline返回null时停止。csv文件有764732行数据。我的程序只读前100000页。最后一行与“我的文本编辑器”(Komodo)中的一行匹配，后者显示另外664732行数</em

浏览 5提问于2015-08-23得票数 2

回答已采纳

3回答

复制到没有引号

r、export、quotes、foxpro、visual-foxpro

我在dbf文件中有一个大型数据集，并希望将其导出到csv类型文件中。多亏了，它已经顺利地完成了。然而，当我试图将它导入到R(我所工作的环境)时，它将一些字符组合在一起，使得一些行比它们应该长得多，从而破坏了整个数据库。最后，每当我导入导出的csv文件时，我只得到一半的db。认为主要的问题是字符串字符中的引号，但是在R中指定quote=""没有帮

浏览 2提问于2013-07-05得票数 1

回答已采纳

3回答

用于搜索csv文件列并计算值出现次数的Bash脚本

bash、csv、counter

我真的是一个新手，我试图在csv文件列中搜索一个值，然后添加一个计数器。我在网上找到了这个，但它会打印出来，我一直在尝试计算一个R出现了多少次，而不是全部打印出来。awk -F "\"*,\"*" '{print $2}' $file12345,R,N,N,Y,N,N,N,Bob Builder 我正在寻找专栏2中的R。谁能告诉我正确的方向？

浏览 0提问于2011-06-01得票数 1

1回答

csv中的行数不匹配

ruby、file

我有一个带有大量列的大型CSV。我正在尝试使用以下命令计算行数它显示57行，但只有56行。经过仔细检查，我发现一行的一部分被折回以形成下一行。如何获得正确的计数？

浏览 0提问于2014-12-01得票数 0

2回答

如何在ETL中找到csv(Excel)表的列数？

etl、pentaho-spoon、pentaho-data-integration

要计算csv文件的行数，我们可以使用行计数etl中的输入。如何找到csv文件的数字列？

浏览 2提问于2017-04-07得票数 1

回答已采纳

2回答

Perl扫描CSV文件以查找符合用户指定条件的行？

perl

我正在尝试为一些CSV文件编写/学习一个简单的Perl解析器，我需要一些帮助。Perl脚本应该打开每个文件，查找与用户输入的条件

浏览 0提问于2011-01-11得票数 0

点击加载更多