2回答
Python:迭代大文件
、、、、
我是一个初学者，我将感谢任何替代方案来处理我的问题。简单地说，我有两个文件，每个文件都包含一个向量。目的是从文件1中减去文件2的所有元素；对于所有可能的组合。对于小的向量来说一切都很好，一切都很好，但是对于更大的文件来说处理时间是巨大的，比如每个文件中有数百万个元素。 下面给出的是最小的工作示例。我听说过记忆映射，如果你能分享一个修改过的版本或任何相关的指针来处理这个问题，我将不胜感激。 import matplotlib.pyplot as plt
file1 = np.loadtxt('File_1.txt',delimiter=&
浏览 20提问于2020-06-26得票数 0
回答已采纳
以下是的建议(因为大文件不允许使用zip(file1, file2))：for i, j in izip(file1, file2):
然而，由于某些原因，这在Python3.3中不可用。当需要同时迭代超过2个文件时，Python3.3中的替代方案是什么？
浏览 0提问于2013-10-08得票数 1
我写了一个程序，在迭代通过许多设备收集信息后，将数据输出到一个大文件中。
来自新设备的新信息被附加到这个文件中，所以它基本上是一个大文件，每10行左右就有类似的(但不完全是)相同的信息。我需要做的是找到一个特定的字符串(在本例中，我在大文件中的数据的每次迭代中使用了一个用于标识目的的特殊字符)，然后获得该特定标识字符后面的文本，向下两行。在Python语言中，我需要做的是打开包含文本的文件，遍历它，找到'>>‘并收集下面两行列出的版本。
浏览 0提问于2017-06-03得票数 0
我正在尝试从一个非常大的文本文件(10 to )中提取行。文本文件包含来自工程软件的输出(它不是CSV文件)。我想从第1行复制到包含字符串“stop”的第一行，然后从包含“restart”的第一行继续到文件的末尾。 下面的代码可以工作，但它相当慢(大约一分钟)。有没有更好的方法用熊猫来做呢？我已经尝试过read_csv函数，但是我没有输入分隔符。 file_to_copy = r"C:\Users\joedoe\Desktop\C ANSYS R1\PATCHED\modes.txt"
output = r"C:\Users\joedoe\Desktop\C ANSY
浏览 39提问于2019-03-01得票数 0
回答已采纳
2回答
我需要用Python逐行处理一个大文件(大约1 1GB)。file.txt', 'r') as f: for fline in f: i = i + 1i的值(迭代次数
浏览 3提问于2016-07-25得票数 0
我正在尝试写一个程序来创建一个2 2gb (大约)大小的英文单词文件。并从这个2 2gb的文件中尝试使用外部排序打印单词的频率。外部排序后，它可以只打印计数(频率)
浏览 0提问于2011-08-01得票数 0
3回答
我正在尝试从装有Python 2的服务器下载一个大文件：rsp = urllib2.urlopen我必须迭代多个read()吗？还是多个请求？如果是这样的话，它们应该是什么样的呢？
注意:我正在尝试只使用Python2标准库来解决这个问题，而不使用额外的库，比如urllib3或requests。
浏览 35提问于2014-06-25得票数 4
2回答
我可能会拆分这个csv (也许选择日期范围并创建单独的文件)，但我想学习如何使用分块大小或处理大文件，而不会遇到内存问题。有没有可能以块的形式修改文件，然后将它们连接在一起？
浏览 0提问于2014-10-08得票数 0
我想遍历整个文件的每一行。一种方法是读取整个文件，将其保存到列表中，然后转到感兴趣的行。这种方法使用了大量的内存，所以我正在寻找一个替代方案。
do_something(each_line)
do_something(each_line_again)
编辑：目的
浏览 512提问于2017-12-21
2回答
两个大文件的逐行比较
、、、
我想知道是否有任何有效的方法来比较两个大文件逐行。222 | haha4 | hehe
我只是把每个文件的第一个字符与它们进行比较。目前，我正在使用一种非常天真的方法，在双for循环中迭代它们。我在linux上使用python，但是我对bash解决方案和python脚本解决方案都是开放的。
浏览 5提问于2015-09-07得票数 0
回答已采纳
2回答
dir_list,header_row=params)当我试图在中型到大型目录上运行它时，它会抛出一个MemoryError异常.如你所见：
python
浏览 4提问于2013-08-30得票数 0
回答已采纳
2回答
/usr/bin/python3
dat_file = sys.argv[2]
with open(ref_file, 'r')
浏览 1提问于2016-05-21得票数 2
回答已采纳
我有大约6GB的csv大文件，包含37000000行。我在python中找到的唯一方法是迭代行和每个块(~10000行)，在临时文件和消防post请求中创建和转储。还有其他更好的方法吗？
浏览 8提问于2022-03-05得票数 1
我想在我的代码中读取一个巨大的文件。在这方面，read()或readline()更快。这个循环怎么样：
浏览 23提问于2011-02-22得票数 21
回答已采纳
我正在构建一个带有大文件(>1.0GB)和小python脚本的Docker映像。大文件很少被更改，所以我想缓存它。- foo.py - big_files/ - bigtwo.tarFROM python3/app /opt/app我想要的是：
FROM python
浏览 8提问于2022-09-22得票数 0
回答已采纳
11回答
我需要处理一个大文件，大约400K行，200M，但有时我必须从下往上处理。如何在这里使用迭代器( here return)？基本上，我不喜欢将所有内容都加载到内存中。我知道在.NET中使用迭代器更有效。
浏览 5提问于2009-01-17得票数 92
回答已采纳
2回答
我有一个Python脚本，它需要读取一个非常大的文本文件的一部分，从第N行开始，以N+X结尾。
浏览 4提问于2017-02-23得票数 0
回答已采纳
1回答
我有一个很大的文本文件(大约有20k行)，我需要用它来替换其他文本文件(大约60-70行)中的一些文本行。其他文件可以被称为模板。根据某些条件，需要替换这些模板中的行文件的示例内容：GS*PO*000123456*PARTNERID*20090827*1041*2*X*004010~ BEG*00*SA*1000012**20
浏览 1提问于2011-08-10得票数 0
我使用python2.7与svmlight一起存储和读取一个非常大的svmlight格式文件。我正在寻找一种方法来迭代文件的批次，而不需要预先分割文件。如何使用svmlight格式的文件来完成此操作？
谢谢!
浏览 2提问于2017-07-17得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
