Pandas read_csv skiprows对于大文件来说，加载数据需要花费太多时间

文章/答案/技术大牛

发布

1回答

pandas、dataset、large-data

我有一个很大的文件(例如20 to )，我想通过跳过行来读取该数据的一些样本，但跳过行和读取几行需要花费太多时间跳过文件中的行会占用太多时间吗？

浏览 17提问于2019-10-26得票数 0

回答已采纳

1回答

如何从角度应用程序中高效地读取大型excel文件

javascript、angular、typescript、xlsx、filereader

我试图打开大文件从角应用程序，它是工作良好的。但是对于大文件来说，它花费了太多的时间，有时浏览器也经常崩溃。请帮助我正确地读取文件，而不破坏浏览器和加载非常快。

浏览 9提问于2022-11-21得票数 0

8回答

如何在使用pandas读取csv文件时选择多行？

python、pandas、csv

rownumberList = [1,2,5,6,8,9,20,22]df = pd.read_csv('myfile.csv',skiprows = skiplist)但是，由于csv文件非常大，直接选择我需要的行可能会更有效。所以我想知道在使用read_csv的时候有没

浏览 2提问于2017-12-21得票数 3

2回答

Python Pandas不读取csv文件的第一行

python、numpy、pandas、load

我在读取pandas模块上的CSV(或txt文件)时遇到了问题，因为numpy的loadtxt函数花费了太多时间，所以我决定使用pandas read_csv。问题是我不知道为什么，但似乎熊猫的read_csv总是跳过csv (txt)文件的第一行(第一行)，导致少了一个数据。import numpy as npng

浏览 1提问于2015-02-07得票数 31

回答已采纳

2回答

使用Numpy读取长文件

python、numpy

我使用了np.genfromtxt，但将所有数据加载到我的数组中需要花费太多时间。有没有更快的方法呢？range(N): p[i] = np.genfromtxt(filename,<em

浏览 1提问于2021-01-07得票数 0

4回答

如何与熊猫一起阅读csv中的特定行号

python、pandas、csv、dataframe

我有一个巨大的数据集，我试图逐行读取它。目前，我正在使用熊猫阅读数据集：这个函数只允许我读取第一行，但是如何读取第二行、第三行等等呢？编辑:为了让它更清楚，我需要一次读一行，因为数据集是20 GB，而且我不能将所有内容保存在内存中。

浏览 6提问于2017-12-01得票数 12

回答已采纳

1回答

朴素贝叶斯模型(.pkl)预测时间过长

python、flask、pickle、wsgi、naivebayes

但是当我加载和预测句子时，它花费了太多的时间。加载大约100MB .pkl文件需要花费太多的时间。有3种型号。我正在使用python中的Flask微服务。因此，对于每个请求，都会加载每个模型(.pkl)并给出输出。每个请求大约需要30-45秒。model.pkl')) print max(test

浏览 1提问于2017-04-21得票数 0

1回答

Jama API -同时获取带有标记的项

rest、jama

我需要从JAMA中获取条目，并且我不使用数据获取标记值。我试图调用GET/{ item }/{id} API，然后还需要执行GET/{ tag }/{id}/{item}来发现项目标记，这对于多个项来说需要花费太多的时间。是否有更有效的方法在一个API调用中获取所有数据？

浏览 5提问于2022-06-06得票数 0

7回答

181180,333700,6.16541910171509,6.44704437255859,7.51744651794434,5.46270132064819,6.8890323638916,6.46842670440674,6.07698059082031,6.2140531539917,6.43774271011353,6.21923875808716,6.43355655670166,5.90692138671875data = np.loadtxt("Data/sim.csv", delimiter=',

浏览 7提问于2013-10-02得票数 40

回答已采纳

2回答

加快蟒蛇大熊猫的read_csv进程

python、pandas、dataframe

我正在尝试使用Pandas 'read_csv‘方法解析一个巨大的csv文件(大约5000万行)。keep_default_na=False, na_values=[''], chunksize=10 ** 6, iterator=True)我的问题是，使用相同的模块和方法是否有其他方法使这个过程更快？下面是作为csv文件显示的示例数据

浏览 0提问于2018-07-30得票数 1

回答已采纳

1回答

提高android中的文件保存性能

java、android、file、bitmap

将每一项作为位图加载并与另一位图合并对于100张图片来说，这需要花费太多的时间。合并位图可以快速退出，但将结果保存在文件中需要花费太多的时间。

浏览 4提问于2017-04-03得票数 1

回答已采纳

1回答

解析一个巨大的纯文本文件

java、parsing、file-io、plaintext

我有一个很大的文本文件(207MB，400万行)，我需要逐行顺序地阅读它。每行都有这样的格式：我使用(对于常规文件)Java库的FileReader和BufferedReader= null){}我想知道在这种情况下最好的实践是什么(另一个库，不同的方法，等等)，任何东西都

浏览 0提问于2012-01-31得票数 1

回答已采纳

1回答

如何处理“不透明”Iterator的异常

python、pandas

具体来说，我使用Pandas read_csv和chunksize选项()来读取大文件。为了这个问题，我有一些损坏的CSV文件，它们太大/太多，无法修复，而且我也不需要每一行。_reader.read(nrows) File "pandas</

浏览 14提问于2020-06-29得票数 1

1回答

带有本地数据的Extjs网格面板性能问题

extjs、xml-parsing、rendering、store、gridpanel

我正在开发一个网格，用户可以通过加载文件并通过网格面板进行编辑。它的可以很好地处理大约200行。但是，一些用户可能希望一次加载50000记录。当我试图加载一个有10k记录的文件时，firefox会崩溃，而chrome等得太多了。经过一些调试后，我意识到将数据呈现到面板需要花费太多的时间。对于每一个新行，我需要刷新网格，这需要太多的时间。重要的一点

浏览 0提问于2013-04-01得票数 3

回答已采纳

2回答

ColdFusion 11编译CFC耗时太长

coldfusion、coldfusion-11

每当我对CFC文件进行任何更改时，都需要15-20秒的时间来编译。对于较小的文件，如5000行代码，则不会出现此问题。还有其他人面临这个问题吗？我需要减小文件大小吗？如果是，请提出解决方案。

浏览 20提问于2018-08-16得票数 2

1回答

带有数组和多参数的Python多处理

python-2.7、multidimensional-array、python-multiprocessing、h5py

因此，我试图读取一堆非常大的数据文件，每个文件都需要相当长的时间来加载。我试图弄清楚如何以最快的方式加载它们，而不会遇到内存问题。一旦数据文件以正确的方式加载到数组中，我就不需要写入它们，而只需要读取。我已经尝试了一段时间的并行化，但还是搞不清楚。我编写了一个函数，它正确地<e

浏览 4提问于2015-10-26得票数 0

回答已采纳

1回答

流灯加载列数据花费了太多时间。

python、pandas、streamlit

我在streamlit中使用了简单的代码片段，它显示了由我拥有的excel组成的数据帧。问题是，在流光区域的过滤器列中加载数据需要花费太多时间。在那个过滤区域，我搜索材料的名称，但它甚至需要30秒来加载和显示我要选择的数据。如何解决这一问题，使其快速选择数据？守则是：import pandas as pd def

浏览 1提问于2020-01-29得票数 0

1回答

如何将Modin熊猫的数据附加到其他？

python、pandas、dataframe、pandasql、modin

我需要以块的形式读取CSV文件，并对其执行计算，并将其附加到大型 dataframe 中，并再次将大数据文件转换为CSV文件。然而，当我试图对modin熊猫做同样的事情时，它无法将dataframe附加到一个大的数据文件中，而我想要转换为csv文件。Python - 3.6 Pandas

浏览 0提问于2019-06-15得票数 1

回答已采纳

1回答

我可以在创建pdf时减少加载时间吗？

php、tcpdf

对于较少的数据，它可以正常工作，并且不需要花费太多时间来加载，但是如果我编写更多的数据，则需要一两分钟的时间来加载。有什么解决办法吗？尽管如此，它仍然需要更多的时间来加载。

浏览 2提问于2013-03-13得票数 1

2回答

redis内存效率

database、memory、redis

我想在Redis上的MySQL中加载4列8000万行的数据，这样我就可以减少读取延迟。1) 'table_name:row_number:column_name‘->字符串2) 'table_name:row

浏览 0提问于2012-05-24得票数 4

回答已采纳

点击加载更多