我正在打开一个大的CSV文件,在将数据插入到我得到的MemoryError数组中时。那么,如何读取CSV文件的特定行(例如,从第1行到第10000行)
以下是代码:
datafile=open('test.csv','r')
datareader=csv.reader(datafile,delimiter=';')
for row in datareader:
MyArray.append(row)
我有一个1.5Gbitrar文件,当我打开它时,它会给我13 Gbite .txt文件,而且我不能用任何东西加载它。我用:
import pandas as pd
read_file = pd.read_csv (r'Path where the Text file is stored\File name.txt', sep='\t')
read_file.to_csv (r'Path where the CSV will be saved\File name.csv', index=None)
我在Pycharm中使用了它,它花了很长时间,并且
我需要存储20000x20000订单的大矩阵。当我尝试初始化这个顺序的矩阵时,Python会引发内存错误。
Traceback (most recent call last):
File "C:\Users\harwee\Desktop\Bubble\test_folder\test.py", line 3, in <module>
a = numpy.ones((x,x),dtype=int)
File "C:\Python27\lib\site-packages\numpy\core\numeric.py", line 183
我需要将一个非常大的文件从DBF格式转换为CSV格式。我已经尝试了Microsoft Excel来做这项工作,但问题是,当我打开和导出文件时,我无法看到超过65500个注册。
Microsoft Access也无法打开该文件。
我在谷歌上找到了一些共享软件工具,搜索"DBF to CSV“。你有没有在非常大的文件上尝试过这些方法?
此外,任何可以导出到mysql或postgresql数据库格式的解决方案都将受到欢迎。
提前感谢您的回复,致以最良好的敬意,