我在Python3中使用来处理一个非常大的CSV文件。我发现了一个奇怪的内存使用问题。proc.memory_info().rss)
memory_test()BEGIN 12623872您可以
浏览 20提问于2018-08-08得票数 4
回答已采纳
我正在尝试这样做：fh = io.StringIO(fh.read().decode())我使用的是python3，所以文件fh以字节为单位。我将其编码为字符串，并通过StringIO将其放入内存中。
我也尝试过io.S
浏览 1提问于2018-09-21得票数 0
2回答
我有一个函数，它获取磁盘上的CSV文件，使用csv.DictReader对象打开它，删除三个键，从磁盘删除文件，然后返回数据：
def process_data(self, filename):进程中大约有20个文件崩溃而没有错误，在一些调查之后，我发现每次调用这个函数时，内存使用量都会增加，直到内存耗尽，系统会终止进程。我使用tracemalloc来显示分配了最多内存的文件，似乎每次调用process_data时，csv库都会分配大
浏览 0提问于2021-05-26得票数 1
2回答
这不是一个“我的代码坏了”的问题，而是一个“我应该这么做吗？”有个问题。我有一个脚本，它使用类似于reader = csv.DictReader(open('file.txt', 'rb'), delimiter= '\t')这样的东西逐行迭代，不需要将整件事情提交到内存中，就可以得到像年龄和日期这样的东西。一般来说，把一个文件放入内存而不是打开它并循环它<
浏览 3提问于2014-07-07得票数 1
回答已采纳
def upload(request): data = csv.DictReader(paramFile
浏览 5提问于2014-07-11得票数 11
回答已采纳
我正在尝试编写一个Python2/3兼容的例程，以获取一个CSV文件，将它从latin_1解码到Unicode，并以健壮、可伸缩的方式将它提供给csv.DictReader。溢出到磁盘来处理异常大的文件
在Python 3下，这一切都很好。我不知道如何处理这个问题--我是否需要编写这样的包装器，还是
浏览 3提问于2016-01-16得票数 4
我正在使用csv.dictreader返回csv文件列表中的所有股票，这些股票在数据行中为'True‘。.csv')
for file in filename: reader = csv.DictReadersusadict[file] = [row['Ticker'] for row in reader if row['Data&
浏览 2提问于2017-08-22得票数 1
我用Python编写了一个小脚本来帮助我处理一个大的.csv文件，但是我现在有一些问题…… Response_one(ID)def Res
浏览 1提问于2016-04-14得票数 2
回答已采纳
我试图模拟一些我使用SQL但使用所有Python的代码。在这里的帮助下
现在，我可以将压缩的-csv文件读入一个断条中，只有一行，最后一行。(如何获得行或整个数据文件的示例？)我不担心内存中的所有问题，但我想尽可能地解决一般情况，所以我知道不用使用SQL可以做些什么。第二，dict可能不是正确的结构，因为我认为我不能只加载所有的50万行，并对它们执行各种操作。按组和日期分列
浏览 3提问于2011-04-17得票数 5
回答已采纳
我在我的烧瓶应用程序中有下面的路径，我基本上是试图流一个上传的TSV文件(flask.request.files['file'])，然后遍历它的内容。/Python.framework/Versions/3.6/lib/python3.6/csv.py", line 98, in fieldnames
self.io.open(file, mode='r', buffering=-1, e
浏览 0提问于2019-07-17得票数 0
2回答
我正在使用python内置csv包，我需要有一个“更聪明”的方式来找到一个特定的列和它的索引。import csv
p = open('my-great-file.csv
浏览 0提问于2017-03-17得票数 0
好吧，我真的找不到其他地方的答案，所以我想我应该问。例如。3,1110,7,3301,15766,1212,3,0,25.14,0,0,3我一直在用熊猫来读取和输出.csv文件，但我要面对的问题是程序不断崩溃，因为创建DataFrame会让我的内存超载。我尝试过从Python中应用csv库，但我不确定如何以
浏览 2提问于2016-07-22得票数 2
回答已采纳
我正在着手处理我的第一个Python项目，并且在尝试使用Python的csv.DictReader类来使用CSV文件时遇到了相当大的困难。osd = csv.Sniffer().sniff(f.read(1024), ',')
csvDict = csv.DictReaderP
浏览 0提问于2011-09-29得票数 2
回答已采纳
我尝试使用多处理模块中的Pool来加快读取大型csv文件的速度。为此，我改编了一个 (来自py2k)，但似乎csv.dictreader对象没有长度。这是否意味着我只能遍历它？这些问题看起来很相关，但并没有真正回答我的问题：、source = open('/scratch/data.txt','r') strptime# co
浏览 3提问于2011-09-12得票数 1
回答已采纳
我知道如果在文件中放置一个长python脚本会更容易，但我正在试图解决为什么在python3 -c cmd中出现语法错误的原因。这是在文件中执行的工作python3脚本：
浏览 9提问于2016-03-23得票数 2
回答已采纳
背景：
我有问题，试图搜索一些CSV文件。我已经阅读了python文档:关于csv模块的对象的csv.DictReader(csvfile, fieldnames=None, restkey=None, restval=None, dialect我的理解是，csv.DictReader假定文件的第一行/行是字段名，但是，我的csv字典文件只是以"key“、"value”开头，然后继续至少500,000行。
浏览 4提问于2013-05-20得票数 2
回答已采纳
1回答
我有一个文件夹，其中包含许多.SQL文件，我希望这些文件与提取的ALL_TAB_COLUMNS (只有column_list.csv上的TABLE_NAME和COLUMN_NAME列)相匹配。我的目标是为每个报表使用表/列之间的关系，生成如下所示的输出：看起来，当我从第二个嵌套循环转移到第三个嵌套循环时，变量变得“遥不可及”，Python (2.7.13)将它们视为新变
浏览 2提问于2017-09-08得票数 0
回答已采纳
考虑下面的python代码 open(sys.argv[3], 'w') as fout:, dialect='excel') writer.writerows(reader)
假设我们有一个大约2GB的大文件作为输入，而我们的系统只有512 an内存，这可能导致错误的Memory
浏览 2提问于2016-05-24得票数 0
回答已采纳
of f1 matches that of f2, it should write the valuescell1 of f1、cell2 of f1、cell 3分别对应于一个名为network_python.csv的文件。代码：with open('file1.csv') as ff: with open('file2.csv') as ff:
for f2 in c
浏览 5提问于2016-04-30得票数 0
回答已采纳
我有下面的python 3代码用于一个Flask应用程序。)时，输出是ISO-8859-9下面是我尝试在具有特殊字符的测试文件上使用csv.Sniffer()的尝试。但我不太清楚如何翻译这些代码来处理内存中的文件。：如何修改我的csv.DictReader代码以处理这些特殊字符(请记住，我只能将文件读入内存)？更新3:
我的问题与所谓的dupe不同，因为我试图找出存储在
浏览 0提问于2019-08-15得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号