我有一个巨大的csv文件(大约5-6 GB)的大小，这是在配置单元。有没有办法计算文件中存在的唯一行的数量？ 我对此一无所知。我需要将输出与另一个配置单元表进行比较，后者具有相似的内容但具有唯一的值。所以，基本上我需要找出不同的linnes的数量。
浏览 7提问于2019-05-16得票数 2
回答已采纳
我在计算一个凌乱的csv.bz2文件中的行数时遇到了问题。
由于这是一个巨大的文件，所以我希望能够在读取带有bzip2 ()函数的read.csv文件之前预先分配数据帧。正如您在下面的测试中所看到的，我的结果是广泛可变的，并且没有一个与csv.bz2
浏览 4提问于2014-05-27得票数 2
如何使用python中的熊猫计算.csv文件中唯一的行数。我尝试了这些解决方案，但只能计算特定列中唯一值的数量。
浏览 2提问于2020-05-14得票数 0
回答已采纳
1回答
标识从日志中更新了多少行的方法
、、、、
我们处理来自上游系统的CSV文件，并将它们加载到Server数据库中的主表中。我们目前正在登入一个新的上游系统，突然，我们的更新声明花了很长时间。这可能是由于输入的数据在我们的系统中有以前的相关数据，并导致了巨大的更新。我们能够找到通过sp_whoisactive更新的表。我的问题是：
发布更新，是否有方法可以从错误日志、默认跟踪或通过DMV
浏览 4提问于2020-05-15得票数 3
回答已采纳
3回答
所以我有一个巨大的CSV，我制作了一个测试脚本来查看行数，它返回大约2400万行。我希望提取具有相同CIK编号的行数，并在单独的CSV中传输该数据。因此，另一个文件中想要的输出是：我有一些想法，但它们不够有效，所以脚本是无用的，因为花了很长时间才通过csv。有人和我一样遇到了类似的问题吗？
浏览 0提问于2019-04-21得票数 0
回答已采纳
1回答
在csv/parquet中，是否有比写入HashMap或读取一行并遍历整个文件(如果文件很大)更好的计算唯一行的算法？
浏览 5提问于2022-07-25得票数 0
我编写了一个简单的命令行命令来计算一个巨大的CSV文件中的行数。$ cat huge.csv | python -c "import sys; print(sum(1 for _ in sys.stdin))"# it took 15 seconds有没有更快的方法来计算Python 3中的行数<
浏览 5提问于2017-11-07得票数 6
回答已采纳
我有一个大约10 GB的巨大的csv文件，如果我试图在内存中加载，我会得到一个错误。
我需要为dataframe的每一列计算唯一元素的数量。我怎么能这么做？
浏览 1提问于2015-04-17得票数 1
回答已采纳
我有一个名为train的Dataframe，它是从一个大型CSV文件中加载的，我想在每一列中计算唯一值的数量。= train[col].nunique().compute() print(line)
但是，上面的代码将为每一列遍历巨大的CSV文件，而不是只遍历
浏览 2提问于2020-12-27得票数 0
回答已采纳
我正在尝试创建一个CSV文件，它是数据集中所有唯一值的列表。我的数据来自一个包含200+ CSV文件的文件夹，所有文件都有9列和不同的行数。有些文件没有副本，但许多文件有重复的值。我已经找到了一个代码，其中列出了每个文件中的行数</
浏览 5提问于2022-08-13得票数 0
2回答
在Scala 2.8中执行文件IO的最佳方式是什么？
我想要做的就是将一个巨大的CSV文件切成许多较小的文件，每个文件有1000行数据，每个文件保留头部。
浏览 0提问于2010-09-02得票数 3
回答已采纳
5回答
如何使用powershell计算csv文件中的行数？我试过这样的东西或但这些结果是错误的
浏览 0提问于2011-07-28得票数 28
回答已采纳
1回答
我正在通过迭代块来读取一个巨大的csv文件。如何获取当前处理的区块大小？特别是，最后一个块的行数可能比用参数chunksize定义的要少。reader = pd.read_table('myFile.csv', sep=';', chunksize=100)
浏览 3提问于2017-01-08得票数 5
回答已采纳
2回答
火花上的Scala数据分析
、、、、
我是Scala新手，我必须使用Scala和Spark的SQL、Mllib和GraphX来对巨大的数据集进行一些分析。我想做的分析是：
我是否应该将CSV文件中的数
浏览 2提问于2016-09-25得票数 3
我有一种情况，我在CSV文件中有100000个URL，我想同时启动N个用户(线程)，但它们应该是CSV文件的一部分，而不会干扰彼此的数据集。Url2
....(不一定相等拆分)，但一个URL应该只热一次。并且所有的用户必须同时启动才能达到我想要的负载。我可以将文件拆分成多个CSV并创建多个线程组，但是如果我有1000个用户，实际上不可能创建1000个线程组。
浏览 2提问于2018-08-09得票数 0
但是，我在Jupyter notebook中使用df.column.value_counts()获得的唯一行数与同一文件的excel行数不匹配(在删除重复值之后)。
我如何解决这个问题？我加载了一个文本文件(以制表符分隔)，并使用encoding = 'ISO-8859-1‘将其转换为pandas数据帧。创建数据帧时，其中一列的唯一行数为66370。当我在原始csv<em
浏览 13提问于2019-01-21得票数 0
2回答
我有一个巨大的csv文件，大约100 M，我试着在它上做一个head，它释放出整个csv，而不管我要求的行数。head data.csv和head -1 data.csv给出了相同的结果，即整个文件。稍后，我注意到文件中根本没有一行：0 data.csv
我在excel中打开<e
浏览 0提问于2015-11-01得票数 0
回答已采纳
1回答
csv文件的真实行
、、、
我有一个csv文件，它有那么多行，我想在python程序中获得行数。当我使用wc -l或vim文件和设置编号来计数行数时，我得到了7125393.。但是，当我使用熊猫解析csv并使用.size获取行数时，它返回6842536。然后，我使用csv (python的内置包)解析csv，并使用for循环来计数行数，它还返回6842536。当我计算csv
浏览 1提问于2020-04-23得票数 0
回答已采纳
我正在寻找一种在python中导入csv文件的方法，并让它随机洗牌所有的行，并创建一个新的csv文件，其中的行被洗牌。我不确定如何开始这项工作。有没有人知道些什么？
浏览 0提问于2019-09-03得票数 0
运行一个循环，计算文件夹中所有.csv文件的行数。现在我需要将这些结果保存到字典中。我得到了我想要的输出，但是我试图将它保存到dict中的任何方式都会导致"I/0操作在文件上关闭“。_2019_03.csv中的行数为914653
csv MA_2019_04.csv中的行数
浏览 1提问于2022-09-18得票数 0
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
