高效地从大型csv文件中读取最后一行

文章/答案/技术大牛

发布

1回答

csv、f#

给定一个很大的csv文件，是否有可能以一种相当有效的方式读取最后一行？我有下面的python函数可以很好地做到这一点。想知道是否有同等的F#解决方案。last = f.readline()编辑我仍然不确定如何计算出跳转到倒数第二行的足够字节，这样我就可以检测行尾字符并返回下一行根据csv的不同，-100L可能不是跳回的正确数量(有数千)。

浏览 4提问于2016-08-28得票数 0

回答已采纳

5回答

有效读取csv文件的最后一行

c++、c、file、csv、file-io

有没有一种高效的C或C++方法来读取CSV文件的最后一行？朴素的方法包括读取整个文件，然后转到最后。有没有更快的方法可以做到这一点(特别是当CSV文件很大时)？

浏览 4提问于2013-05-27得票数 3

回答已采纳

2回答

如何使用mapreduce批量更新满足查询的数据存储实体？

java、google-app-engine、mapreduce、google-cloud-datastore、blobstore

有几个并发症：查找要更新的实体的查询检查特定属性"property1“的值是否包含在csv文件中的长值列表(~10000项)中。对于满足查询的每个实体，需要更新另一个属性"property2“，使其等于csv文件第二列和同一行中的值。我知道如何将csv文件上传到Blobstore，并使用Blobstore输入读取器读取每一行。我还知道使用

浏览 2提问于2015-01-15得票数 6

1回答

如何高效地读取和绑定大型CSV文件？

r、csv

我有20个大的CSV文件(每个100-150MB)，我想在R中加载它们，并将它们重新绑定到一个大文件中，然后执行我的分析。读取每个CSV文件仅在一个内核上执行，大约需要7分钟。有没有更有效地执行这个过程的方法？我也对其他(开源linux)软件(例如，在不同的程序中绑定CSV文件并在R中加载)或任何可以使此过程更快的东西持开放态度。非常感谢

浏览 2提问于2012-09-06得票数 2

回答已采纳

3回答

复制到没有引号

r、export、quotes、foxpro、visual-foxpro

我在dbf文件中有一个大型数据集，并希望将其导出到csv类型文件中。多亏了，它已经顺利地完成了。最后，每当我导入导出的csv文件时，我只得到一半的db。认为主要的问题是字符串字符中的引号，但是在R中指定quote=""没有帮助(而且通常也有帮助)。我被这个从dbf导出到R的问题困住了足够长的时间，我搜索了我所能找到的一切，并拼命地寻找一个简单的解决方案，如何在没

浏览 2提问于2013-07-05得票数 1

回答已采纳

3回答

在Java中处理文件指针的有效方法？(将BufferedReader与文件指针一起使用)

java、file、pointers、buffered

我有一个日志文件，每秒更新一次。我需要定期读取日志文件，一旦进行了读取，我需要将文件指针位置存储在我读取的最后一行的末尾，在下一次定期读取中，我应该从该位置开始。目前，我在Java中使用一个随机访问文件，并使用getFilePointer()方法获取偏移值，使用seek()方法访问偏移量位置。但是，我在大多数文章中都读到过，甚至Java doc推荐使用BufferredReader

浏览 3提问于2009-10-16得票数 5

1回答

如何在没有REPL崩溃的情况下，高效、快速地将大型(6GB) .csv文件导入R中？

r、csv

我有一个大型的.csv文件，需要导入到R中，以便对其进行一些数据操作。我使用的是read.csv(file.csv)方法，其中我将方法的结果分配给一些变量MyData。但是，当我试图在REPL中运行这个程序时，程序就会崩溃。有没有一种方法可以高效、快速地处理/读取R中的.csv文件，而不会使终端崩溃？如果没有，我不是应该使用Python吗？

浏览 2提问于2017-08-09得票数 3

回答已采纳

2回答

在MATLAB中处理大型CSV文件

mysql、matlab、file-io、csv、bigdata

我必须处理一个大的CSV文件，最高可达2 2GB。更具体地说，我必须将所有这些数据上传到mySQL数据库，但在此之前我必须做一些计算，所以我需要在MATLAB中做所有这些事情(我的主管也想在MATLAB中做，因为他熟悉MATLAB :( )。你知道我该如何处理这些大文件吗？

浏览 0提问于2011-04-18得票数 5

回答已采纳

1回答

用FSharp CsvParser阅读“尴尬”CSV文件

f#、f#-data

我有一个大文件(200 K-300 K行文本)。这几乎是一个CSV文件，但不是完全的。在那之前。我的第一个想法是编写一个干净的过程，去掉第一行和空行，只在CsvParser可以读取的CSV中留下我想要的标题和细节。如果我使用C

浏览 4提问于2016-08-31得票数 3

1回答

Android:高效地读取一个大型CSV文件？

android

我有一个大的CSV文件(大约12000行)，需要在ListView中解析和显示。我不想在内存中加载整个文件，我希望以10行组的形式读取它，当用户单击"Load more“按钮时，接下来的10行将被读取等等。谢谢

浏览 1提问于2014-04-06得票数 0

回答已采纳

4回答

运行时关键，读取C中CSV文件的操作

c、file、csv

是否有一种快速、高效地读取csv文件的方法?这里需要注意的一点是:我指的是带有million+行的csv文件。还有其他方法，比如Robert编写的SourceForge代码。编辑:让我们用一种更清晰、更好的方式来划分整个问题：是否有一种<

浏览 5提问于2011-02-09得票数 0

1回答

我正在使用http客户端从Google Cloud Storage读取一个可能很大的CSV文件。获得CSV文件后，我需要将其上传到另一个存储桶，并将数据加载到BigQuery表中。我知道我可以简单地从http响应输入流中以UTF-16格式读取数据，然后将其以UTF-8格式写入新的输入流，如下所示： byte[] data = IOUtils.toByteArray(response.getEntit

浏览 25提问于2019-09-12得票数 2

回答已采纳

2回答

无法阅读CSV的最后一行

powershell

我从另一个系统获得CSV文件(没有头文件)。最后一行结束文件(在最后一行数据之后没有换行符)。当我尝试Import时，它将不会读取文件的最后一行。我无法将输入文件更改为包含换行符。我注意到Get内容在读取整个文件时没有问题，但是它不是CSV，我无法引用文件中</em

浏览 1提问于2020-11-30得票数 0

回答已采纳

1回答

如何将csv文件作为一个JSON文件而不是单个文件加载到MarkLogic中？

json、shell、csv、marklogic、mlcp

我有一个带有|分隔符的CSV文件。我想使用mlcp将其加载到MarkLogic中，并将所有数据作为单个JSON文档加载，而不是多个JSON (每行一个JSON)。CSV：Steve | 30 | MJSON期望： "Name":"Steve", "gender

浏览 4提问于2019-07-29得票数 0

4回答

有效地将CSV转换为numpy NPY

python、numpy、csv、tensor、feature-store

如何有效地将.csv文件转换为.npy文件？Q(第1部分)：对于大型CSV文件，有什么方法可以有效地将.csv加载/转换为.npy？上面的代码片段类似于来自的答案，但是对于12mx1024矩阵，这是行不通的。Q(第2部分)：如果没有任何有效地将.csv加载/转换为.npy的方法，那么有什么方法可以高效地将.csv文件

浏览 58提问于2022-10-13得票数 0

1回答

如何使用Java高效地读取Hadoop (HDFS)文件中的第一行？

java、csv、hadoop、apache-spark

我的Hadoop集群上有一个大型CSV文件。文件的第一行是“头”行，它由字段名组成。我想对这个标题行执行一个操作，但是我不想处理整个文件。另外，我的程序是用Java编写的，使用的是Spark。在Hadoop集群中读取大型CSV文件的第一行的有效方法是什么？

浏览 2提问于2014-01-17得票数 4

回答已采纳

3回答

熊猫数据双引号

python、pandas、double-quotes

我正在尝试读取一个.csv格式的大型数据集，它是使用熊猫库自动更新的。问题是，在我的数据中，第一行是没有双引号的字符串，其他列是带有双引号的字符串。手动调整.csv文件是不可能的。= pd.read(path_to_file,delimiter=',')它正确地识别每一列，但添加了一串额外的双引号。&q

浏览 0提问于2018-07-16得票数 6

回答已采纳

2回答

如何在powershell中将文本文件转换为csv？

powershell、csv

我有个文本文件。每行记录一个事件，字段由“\”分隔。是否可以使用一些cmdlet (如"get-content event.log export event.csv“)将文本文件转换为csv文件？

浏览 0提问于2017-05-11得票数 1

回答已采纳

2回答

高效创建PHP中的大型csv文件

php、file、csv

我必须用PHP创建一个超过400 MB的大型csv导出文件。导出文件和PHP代码的第一个草稿允许对性能进行一些猜测。为了避免极长的处理时间，我应该集中精力高效地创建导出文件，并避免使用PHP array-operations，因为在这种情况下它们太慢了。“高效创建文件”的意思是:将大的文本块附加到文件中的其他大块中，快速创建每个大块。不幸的是，“大块”是矩形而不是直线。如果我不得

浏览 5提问于2014-07-10得票数 0

回答已采纳

1回答

League CSV包-从资源/流中一次读取一行

php、laravel、csv、composer-php、flysystem

我正在使用导入/导出程序在Laravel中导入一个大型的CSV文件。由于文件很大，所以我希望将其流到CSV解析器，并一次处理一行，而不将每一行加载到内存中。Laravel为底层文件系统使用了flysystem，我正在使用它来获取到源CSV的PHP资源。我不明白的是--如果有可能的话--我可以把资源流输入联赛CSV，以便在读下一行之前，一次读一行给我。所

浏览 0提问于2018-10-16得票数 1

回答已采纳

点击加载更多